基于MGR高可用异地多活方案

简介: 主要目的实现MySQL高可用解决方案,实现异地多活。

一.概述
主要目的实现MySQL高可用解决方案,实现异地多活。
二.实现构思
_1

基于MGR实现高可用异地多活
首先要基于位置信息进行分片,例如华北 华中,华南,程序层要进行ip过滤和判断,
针对不同的ip 写入到不同的分片集合中,每张表需要有一个地理位置字段。
例如获得ip为华北,
Create table xx(
id int,
Name varchar(111),
Position int)
华北 表示为0
华中表示为1
华南表示为2
根据Position 字段进行分片。
其次可以根据时间维度或者用户id,或者其他分片规则进行二次分片。
要具备二次分片的能力

每个分片节点需要提供2个slave。用于分担读请求的压力。

三.故障处理

_2

假设 NODE1节点故障
首先NODE1节点下面的slave 停止工作,
此前通过DNS记录把NODE1的ip在指向相近的节点为NODE2
NODE2节点提供本身的华中的读写请求,并再次同时也接管了NODE1的读写请求。

实现方式 基于consul的提供服务发现和健康检查,并提供DNS切换的功能。

NODE1 故障后的恢复
首先提供最近的节点NODE2节点进行基于binlog的恢复。等数据追平,在进行slave1和slave2的数据同步,等全部同步完成后在对外提供服务。
假设 NODE2的binlog已经清理,
首先通过NODE2的slave1或者slave2上获取一份全备在NODE1节点进行恢复。
等待恢复后,则通过主从的方式把数据追平。然后在添加到MGR集群环境中。
等待数据追平,在挂着NODE1下面的slave1和slave2 等待数据追平后在提供服务

NODE1和NODE2同时故障
整个集群会停止服务,MGR集群则无法继续工作。并触发s1级别告警。
修复方法 首先修复NODE2 然后在修复NODE1
可参考NODE1故障恢复方案进行恢复

四 难点
1.首先需要中间件要支持MGR,并支持二次分片
2.需要提供全局自增id,实现。每次insert 首先要获得一个全局的自增id,避免分片的合并造成的主键冲突,和产生自增锁
3.基于consul的dns的重新指向,或者使用其他的dns api服务通过脚本来实现,但需要实现分布式的健康检查和监控。
4.目前MGR并不成熟 需要等待官方成熟的MGR 可提供生产环境,预计今年的下半年。
5.瓶颈在于网络,可以同城,不建议跨城。

目录
相关文章
|
人工智能 数据可视化 Java
ElasticSearch安装、插件介绍及Kibana的安装与使用详解
ElasticSearch安装、插件介绍及Kibana的安装与使用详解
ElasticSearch安装、插件介绍及Kibana的安装与使用详解
|
2月前
|
canal 关系型数据库 MySQL
数据同步神器-Canal
Canal是阿里巴巴开源的MySQL增量日志解析工具,通过模拟MySQL主从复制机制,实时捕获数据库变更,实现数据同步至Kafka、Elasticsearch等系统,广泛应用于数据同步、监控、备份与迁移场景。
907 5
|
容灾 Cloud Native 关系型数据库
实现MySQL异地多活场景
现代化互联网企业面临的最大威胁是意外导致的数据丢失或不可用。为应对这一挑战,企业通常采用“主从高可用”架构,但单一机房内的高可用仍存风险。真正的高可用需通过“跨机房容灾”或“异地容灾”实现。异地容灾将服务器部署在不同地域的机房中,确保一处受灾时,其他机房能迅速接管业务。更进一步的“异地多活”方案则让各节点同步处理业务流量,确保数据一致性,提高资源利用率。NineData 提供了实现这一方案的强大工具。
473 0
|
SQL 存储 关系型数据库
MySQL主从同步延迟原因与解决方法
MySQL主从同步延迟原因与解决方法
1518 0
|
JavaScript 关系型数据库 数据库
PostgreSQL支持哪些编程语言?
【8月更文挑战第5天】PostgreSQL支持哪些编程语言?
681 8
|
存储 Oracle 关系型数据库
Oracle同一台服务器创建多个数据库
【8月更文挑战第30天】在 Oracle 中,可在同一服务器上创建多个数据库。首先确保已安装 Oracle 软件并具有足够资源,然后使用 DBCA 工具按步骤创建,包括选择模板、配置存储及字符集等。重复此过程可创建多个数据库,需确保名称、SID 和存储位置唯一。创建后,可通过 Oracle Enterprise Manager 进行管理,注意服务器资源分配与规划。
751 10
|
存储 监控 NoSQL
【MongoDB 专栏】MongoDB 分片策略与最佳实践
【5月更文挑战第10天】MongoDB 分片是应对大数据量的扩展策略,涉及哈希和范围分片两种策略。分片架构包含分片服务器、配置服务器和路由服务器。最佳实践包括选择合适分片键、监控调整、避免热点数据等。注意数据分布不均和跨分片查询的挑战。通过实例展示了如何在电商场景中应用分片。文章旨在帮助理解并优化 MongoDB 分片使用。
613 3
【MongoDB 专栏】MongoDB 分片策略与最佳实践
|
Kubernetes 监控 Shell
在K8S中,我们公司用户反应pod连接数非常多,希望看一下这些连接都是什么信息?什么状态?怎么排查?容器里面没有集成bash环境、网络工具,怎么处理?
在K8S中,我们公司用户反应pod连接数非常多,希望看一下这些连接都是什么信息?什么状态?怎么排查?容器里面没有集成bash环境、网络工具,怎么处理?
|
负载均衡 监控 关系型数据库
PostgreSQL从小白到高手教程 - 第48讲:PG高可用实现keepalived
PostgreSQL技术大讲堂 - 第48讲:PG高可用实现keepalived
604 1
|
存储 SQL NoSQL
ClickHouse(16)ClickHouse日志表引擎Log详细解析
ClickHouse的Log引擎系列适用于小数据量(<1M行)的表,包括StripeLog、Log和TinyLog。这些引擎将数据存储在磁盘,追加写入,不支持更新和索引,写入非原子可能导致数据损坏。Log和StripeLog支持并发访问和并行读取,Log按列存储,StripeLog将所有数据存于一个文件。TinyLog是最简单的,不支持并行读取和并发访问,每列存储在单独文件中。适用于一次性写入、多次读取的场景。
556 0