第四章:OceanBase集群技术架构(动态扩容和缩容)

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
应用型负载均衡 ALB,每月750个小时 15LCU
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: 第四章:OceanBase集群技术架构(动态扩容和缩容)

动态水平扩展的场景

一个三副本的集群,每个Zone都有3000个分区的副本,扩容后,OceanBase自动将1500个分区的副本迁移到新服务器中的资源Unit中。

OceanBase可以很好的帮助业务线性的进行扩容和缩容,低成本的应对大型促销等活动。

动态扩容和缩容技术实现

一个表8个分区,扩容后,在每个Zone内,OceanBase自动将4个分区的副本迁移到新服务器的租户资源单元中,实现Zone内各个OB Server的负载均衡。整个扩容过程是在线动态扩容,对业务无感知,可以降低运维难度。

扩容基本步骤

1. 为每个zone添加新的物理机器

2. 在每台新添加的机器上,以正确的方式启动observer服务

3. 为每个新添加的observer进程执行alter system add server;命令,将observer服务添加到集群中 4. 执行alter resource pool unit_num = ;命令,扩充资源池中的unit 个数

5. OceanBase自动启动“rebalance”过程,将部分数据从旧的unit在线复制到新的unit上。此过程可能会 花费数十分钟,具体时间取决于数据量

6. 每个分区的数据复制完成后,OceanBase自动将服务切换到新的unit上,并删除旧unit中分区上的数据

数据复制的过程是否已经完成?查看__all_virtual_sys_task_status表,是否有comment like '%partition migration%'的任务


集群扩容

mysql>select pool,tenant_id,tenant.tenant_name,name as pool_name,unit_count,unit_config_id,pool.zone_list,__all_tenant tenant on pool.tenant_id=tenant_id inner join __all_unit unit on pool.unit_config_id=unit.ant_name,zone_list;

租户扩容——通过扩大资源池规格实现纵向扩展

扩容前集群及租户资源情况:

3-3-3-3集群,共5个Zone

租户资源池使用Zone1、Zone2、Zone3

规格为1C2G

资源单元数量为1(Unit Num=1)

扩容后集群及租户资源情况:

将租户资源池规格由1C2G扩容为2C8G

租户扩容——通过增大资源池Unit Num实现横向扩展

扩容前集群及租户资源情况:

3-3-3-3-3集群,共5个Zone

租户资源池使用Zone1、Zone2、Zone3

规格1C2G

资源单元数量为1

扩容后集群及租户资源情况:

将租户资源池的Unit Num由1扩容成3

负载均衡

基于负载均衡原则,会自动迁移部分数据到新Unit中(Zone内迁移)

数据追平后,新Unit中将选举出主副本,从而分流业务流量

租户扩容——增加系统可用性三副本扩容至五副本

扩容前集群及租户资源情况:

3-3-3-3-3集群,共5个Zone

租户资源池使用Zone1、Zone2、Zone3

规格1C2G

资源单元数量为1

扩容后集群及租户资源情况:

将租户资源池的由3个Zone扩容成5个Zone

负载均衡

从原来的3个Zone内的主副本那里复制数据(Paxos组成员有3个增加到5个)

数据追平后,新Unit中将选举出主副本,从而分流业务流量(根据Primary Zone的配置等情况)

缩容基本步骤

执行alter resource pool<pool name>unit_num=<smaller number>;命令,缩减资源池中的unit个数

OceanBase自动启动“rebalance”过程,将一部分数据复制到同zone内其他机器的unit上

每个分区数据复制完成后,OceanBase自动将服务切换到新的unit,之后删除下线机器的unit中分区上的数据

为每台要下线的机器执行alter system delete server;命令,完成机器下线的操作

手工终止已下线机器上的observer进程,并执行关机等操作


相关实践学习
SLB负载均衡实践
本场景通过使用阿里云负载均衡 SLB 以及对负载均衡 SLB 后端服务器 ECS 的权重进行修改,快速解决服务器响应速度慢的问题
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
29天前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
127 6
|
1天前
|
人工智能 云计算 网络架构
阿里云引领智算集群网络架构的新一轮变革
11月8日~10日在江苏张家港召开的CCF ChinaNet(即中国网络大会)上,众多院士、教授和业界技术领袖齐聚一堂,畅谈网络未来的发展方向,聚焦智算集群网络的创新变革。
阿里云引领智算集群网络架构的新一轮变革
|
2天前
|
负载均衡 Dubbo 算法
集群容错架构设计
集群容错架构设计
集群容错架构设计
|
22天前
|
负载均衡 安全 调度
Docker Swarm集群架构
【10月更文挑战第8天】
49 1
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
56 3
|
3月前
|
存储 SQL 关系型数据库
OceanBase的架构特点
【8月更文挑战第10天】OceanBase的架构特点
224 66
|
29天前
|
消息中间件 分布式计算 Kafka
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
37 0
|
29天前
|
SQL 存储 分布式计算
大数据-93 Spark 集群 Spark SQL 概述 基本概念 SparkSQL对比 架构 抽象
大数据-93 Spark 集群 Spark SQL 概述 基本概念 SparkSQL对比 架构 抽象
35 0
|
30天前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
43 0
|
3月前
|
运维 监控 数据库
在OceanBase数据库中,obd集群版本需在线升级4.3.1.0升级至4.3.2
【8月更文挑战第14天】在OceanBase数据库中,obd集群版本需在线升级4.3.1.0升级至4.3.2
73 0

热门文章

最新文章