动态水平扩展的场景
一个三副本的集群,每个Zone都有3000个分区的副本,扩容后,OceanBase自动将1500个分区的副本迁移到新服务器中的资源Unit中。
OceanBase可以很好的帮助业务线性的进行扩容和缩容,低成本的应对大型促销等活动。
动态扩容和缩容技术实现
一个表8个分区,扩容后,在每个Zone内,OceanBase自动将4个分区的副本迁移到新服务器的租户资源单元中,实现Zone内各个OB Server的负载均衡。整个扩容过程是在线动态扩容,对业务无感知,可以降低运维难度。
扩容基本步骤
1. 为每个zone添加新的物理机器
2. 在每台新添加的机器上,以正确的方式启动observer服务
3. 为每个新添加的observer进程执行alter system add server;命令,将observer服务添加到集群中 4. 执行alter resource pool unit_num = ;命令,扩充资源池中的unit 个数
5. OceanBase自动启动“rebalance”过程,将部分数据从旧的unit在线复制到新的unit上。此过程可能会 花费数十分钟,具体时间取决于数据量
6. 每个分区的数据复制完成后,OceanBase自动将服务切换到新的unit上,并删除旧unit中分区上的数据
数据复制的过程是否已经完成?查看__all_virtual_sys_task_status表,是否有comment like '%partition migration%'的任务
集群扩容
mysql>select pool,tenant_id,tenant.tenant_name,name as pool_name,unit_count,unit_config_id,pool.zone_list,__all_tenant tenant on pool.tenant_id=tenant_id inner join __all_unit unit on pool.unit_config_id=unit.ant_name,zone_list;
租户扩容——通过扩大资源池规格实现纵向扩展
扩容前集群及租户资源情况:
3-3-3-3集群,共5个Zone
租户资源池使用Zone1、Zone2、Zone3
规格为1C2G
资源单元数量为1(Unit Num=1)
扩容后集群及租户资源情况:
将租户资源池规格由1C2G扩容为2C8G
租户扩容——通过增大资源池Unit Num实现横向扩展
扩容前集群及租户资源情况:
3-3-3-3-3集群,共5个Zone
租户资源池使用Zone1、Zone2、Zone3
规格1C2G
资源单元数量为1
扩容后集群及租户资源情况:
将租户资源池的Unit Num由1扩容成3
负载均衡
基于负载均衡原则,会自动迁移部分数据到新Unit中(Zone内迁移)
数据追平后,新Unit中将选举出主副本,从而分流业务流量
租户扩容——增加系统可用性三副本扩容至五副本
扩容前集群及租户资源情况:
3-3-3-3-3集群,共5个Zone
租户资源池使用Zone1、Zone2、Zone3
规格1C2G
资源单元数量为1
扩容后集群及租户资源情况:
将租户资源池的由3个Zone扩容成5个Zone
负载均衡
从原来的3个Zone内的主副本那里复制数据(Paxos组成员有3个增加到5个)
数据追平后,新Unit中将选举出主副本,从而分流业务流量(根据Primary Zone的配置等情况)
缩容基本步骤
执行alter resource pool<pool name>unit_num=<smaller number>;命令,缩减资源池中的unit个数
OceanBase自动启动“rebalance”过程,将一部分数据复制到同zone内其他机器的unit上
每个分区数据复制完成后,OceanBase自动将服务切换到新的unit,之后删除下线机器的unit中分区上的数据
为每台要下线的机器执行alter system delete server;命令,完成机器下线的操作
手工终止已下线机器上的observer进程,并执行关机等操作