三高Mysql - 搭建“三高”架构之复制(上)

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 三高Mysql - 搭建“三高”架构之复制(上)

引言


内容为慕课网的《高并发 高性能 高可用 MySQL 实战》视频的学习笔记内容和个人整理扩展之后的笔记,这一节讲述搭建Mysql三高架构中的复制,Mysql的复制在实战中实现比较简单,但是Mysql针对复制的内部优化却是一直在进行,这样说明这是值得重视和学习的内容,所以本节针对复制这一特征介绍相关的理论内容。

如果内容比较难可以跟随《Mysql是怎么样运行》个人读书笔记专栏补补课:

地址如下:从零开始学Mysql


什么是“三高”架构?


三高架构比较好理解,这里简单过一遍:

  • 高并发:同时处理多条事务数高
  • 高性能:SQL 执行效率高
  • 高可用:系统可用率达到99%以上。

三高是目的不是手段

三高架构的关键在于三个关键字:复制,扩展,切换

复制:数据冗余,binlog传送,并发量提升,可用性提高。缺点是复制会加大服务器的性能开销。

扩展:扩展容量,数据库分片分表,性能和并发量提升。缺点是降低可用性。

切换:主从库提高高可用,主从身份切换,并发量提升。缺点是丢失切换时刻的数据。

这三点对应CAP的理论,CAP中最多只能满足CP或者AP,CAP的理论知识这里略过,结合上面三点可以简单梳理。

三高实现本质:

三高的本质其实就是如何结合复制、扩展、切换三个方法实现三高,我们需要思考下面的三个问题:

  • 如何将数据进行冗余?
  • 如何有效扩展容量,提高并发性能?
  • 如何做主从备份切换,提高高可用?

针对上面三个问题在回到开头提到的三高最终Mysql的三高总结来说就是下面三点:

高并发:复制和拓展,分散多节点

高性能:复制提升速度,拓展容量

高可用:节点之间切换。


复制



复制是Mysql中实现高可用的重要功能,复制类型分为三种:异步复制和半同步复制,组复制的模式以及新版本带来的GTID复制增强模式。

  • 异步复制
  • 半同步复制
  • 组复制(mysql5.7新特性)
  • GTID 复制模式(Mysql5.6.5之后新增)(减少复制故障)


复制原理


异步复制

异步复制是非常传统的Mysql复制方式也是实现方式最为简单的一种,异步复制和其名字的意义一样主库在写入binlog之后通知从库数据已经发送然后自己干自己的事情去了,此时从库会主动发起IO请求建立和主库的连接,接着是binlog拷贝到本地写入到relay log中进行重放日志最终sql线程重放然后在最后达到数据一致的效果。


基本的处理步骤如下:

  1. 主节点执行备份线程,读取binlog文件并且发送给从库。
  2. 从库的io线程和主库建立连接,使用二进制转储线程读取到binlog文件,如果数据是同步的则睡眠等待主库发送同步信号,否则获取数据把binlog文件保存为relay log,注意从库不会立马执行主库发来的sql,而是会放入到redo log中。
  3. 从库会通过sql线程定时读取最新的relay log文件,对于relay log重放,重放之后自己再记录一次binlog日志。(自己再记录一次主要是因为从库本身也有可能是其他子从库的主库,整个过程按照相同的步骤处理)


异步复制的问题:

  • 读取binlog文件的时候主节点的状态?是否需要锁表?
    主节点此时依然可以正常执行,不需要锁表,因为操作的是二进制的binlog文件。
  • 重放relay log是啥意思?
    relay log:中继日志,relay
    relay:中继。
    重放:重新播放可以认为是重读
  • 从库复制涉及多少线程
    两个,一个IO线程一个SQL线程,IO线程负责从主库获取binlog文件,SQL负责将中继日志进行重放。
  • 为什么从库最后还需要记录一次binlog?
    因为从库也有可能存在自己的子节点,所以也需要按照同样的步骤复制给自己的子节点。
  • 为什么需要relay log中继日志?
    如果备库直接连接主库进行拷贝并且直接执行可能会存在问题,如果此时主库频繁的往binlog塞日志,那么很容易出现主库和备库之间长时间连接并且备库无法正常工作。


异步复制流程图:根据流程图可以看到,在主库执行完sql之后会记录binlog文件并且commit事务,通过异步的方式把binlog发给其他分片上的从库,从库会根据主库的binlog重放relay log之后最终记录到binlog,然后和主库一样完成提交的动作保证数据同步。


问题: 如果主库写入binlog但是此时突然断电,但是Binlog已经发送给从节点,此时会出现什么情况? 没有影响,因为记录binlog意味着已经完成了事务的操作,即时断电主库也可以通过redo log和bin log恢复数据,由于事务已经提交了,发送给从库出现新增数据也是正常的。


异步复制有下面的特点:

  • 对于网络延迟具有一定要求
  • 实现方式和原理简单。
  • 不能保证日志被送到备库可能会出现日志丢失

通过上面的特点介绍,可以发现异步复制的最大问题就在于异步两个字,由于网络环境的复杂性主库和备库之间是互相分离的,为了确保数据确实送到了从库,Mysql在此基础上改进复制的流程,后面提到的半同步复制其实就在提交之前进行一次“确认”的操作。


半同步复制

如上面所说的,半同步复制其实就在主库发送binlog文件之后没有立马提交事务,而是等待所有的从库接收到了binlog并且写入到relay log之后才进行事务提交,注意这里并不是等所有的从库提交再提交,而是确认接受到binlog转为relay log之后立马就进行提交。


半同步的复制是延迟了主库一定的提交时间,确保主备数据同步。


问题 :

半同步复制时间等待过久怎么办?

rpl_semi_sync_master_timeout 参数可以配置脱扣时间,脱扣时间是主备库之间的同步过了多少时间超时。


组复制(Mysql Group Replication)

组复制是MySQL5.7版本出现的新特性,组复制的核心是确保数据的强一致性,缺点也很明显会导致数据库系统的响应速度受到影响。

介绍:复制组由多个MySQL Server组成,组中的每个成员可以在任何时候独立执行事务,他们内部使用十分复杂的共识算法进行识别

(核心团体通信系统(GCS)协议),组复制的特点是在复制的时候需要保持强一致性,如下面的图构造显示,和上面提到了复制方式不

同,在组复制的模式下所有的节点是近似平级关系,通过广播的形式通知改动,当主节点发生binlog变动的时候,需要让其他的同级节点

收到通知验证之后才能进行事务的提交。

读者可能会误解组复制让Mysql实现集群了,然而只是有其行没有其本质组复制只不过是用了些新的对概念包装了一些旧东西罢了,可

以看到组复制的最大痛点在于强一致性的等待时间,看起来很美好,数据似乎永远都不会出现故障绝对能保持一致,实际上这个组复制的

等待时间在很多高并发的系统是没法接受的。

组复制的概念出现于比较新的Mysql版本并且在Mysql8.0中被最终完善,这里找了两篇文章供大家拓展阅读:


主从复制实战


这里仅仅记录操作,建议读者根据自己的版本进行实验,注意下面的实验在默认的情况下是异步复制

  1. 为了模拟复制可以先弄两台linux虚拟机,比如现代144和146两台服务器,安装了同样为5.7版本的Mysql,这个实验中144为主库,146位从库。

网络异常,图片无法展示
|


  1. 两个实验数据库的数据库内容如下:

网络异常,图片无法展示
|


  1. 两个服务器都需要修改配置ini文件并且开放binlog,图中为部分配置:

网络异常,图片无法展示
|


  1. systemctl restart mysqld重启主库的服务器,此时可以通过命令show master statusshow slave status来判断是否构成主备架构。
  2. Mysql命令连接主库同时执行flush tables with read lock加上全局锁来进行第一次主备数据全量同步,此时可以使用show master status查看当前binlog的写入的位置,使用mysqldump命令进行全量备份。


全量备份的使用可以阅读:"三高"Mysql - Mysql备份概览中关于Mysqldump复制这一部分的内容。


  1. 把备份文件到从库上执行source xxx.sql实现主备数据之间的同步,注意此时从库需要和主库一样需要将binlog的日志的写入位置进行同步,而binlog文件的写入位置通过主库的show master status进行查看,比如这里从库就需要同步到主库的.000012的194位置。


网络异常,图片无法展示
|


  1. **关键步骤:**从库如果是slave状态需要通过命令stop slave停止slave主库,并且执行reset slave重置状态,为了和主库保持同步,需要通过下面的命令同步binlog的写入位置,完成之后通过show slave status检查两边是否同步:


网络异常,图片无法展示
|


  1. 最后检查是否正常主备复制同步:


网络异常,图片无法展示
|


至此,异步主从复制的实战流程结束,如果我们想要实验半同步复制,需要在my.ini中配置半同步的插件 ,因为半同步复制并不是原生支持的,需要额外的插件支持。


网络异常,图片无法展示
|


最后通过show variances like 'rpl_semi_sync_master_timeout'可以查看脱扣时间, 通过show processlist命令可以查看主节点的当前线程情况。

主节点有下面的线程,可以看到有一个等待Binlog 写入的线程,这是从库等待主库改动binlog的一个线程任务


网络异常,图片无法展示
|


从节点有两个线程,也可以通过show processlist方法查看IO现场和重放relay log的两个线程。


网络异常,图片无法展示
|

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2天前
|
NoSQL 关系型数据库 MySQL
微服务架构下的数据库选择:MySQL、PostgreSQL 还是 NoSQL?
在微服务架构中,数据库的选择至关重要。不同类型的数据库适用于不同的需求和场景。在本文章中,我们将深入探讨传统的关系型数据库(如 MySQL 和 PostgreSQL)与现代 NoSQL 数据库的优劣势,并分析在微服务架构下的最佳实践。
|
26天前
|
SQL 关系型数据库 MySQL
说一下MySQL主从复制的原理?
【8月更文挑战第24天】说一下MySQL主从复制的原理?
47 0
|
1月前
|
SQL 关系型数据库 MySQL
(二十五)MySQL主从实践篇:超详细版读写分离、双主热备架构搭建教学
在上篇《主从原理篇》中,基本上把主从复制原理、主从架构模式、数据同步方式、复制技术优化.....等各类细枝末节讲清楚了,本章则准备真正对聊到的几种主从模式落地实践,但实践的内容通常比较枯燥乏味,因为就是调整各种配置、设置各种参数等步骤。
202 2
|
1月前
|
SQL canal 关系型数据库
(二十四)全解MySQL之主从篇:死磕主从复制中数据同步原理与优化
兜兜转转,经过《全解MySQL专栏》前面二十多篇的内容讲解后,基本对MySQL单机模式下的各方面进阶知识做了详细阐述,同时在前面的《分库分表概念篇》、《分库分表隐患篇》两章中也首次提到了数据库的一些高可用方案,但前两章大多属于方法论,并未涵盖真正的实操过程。接下来的内容,会以目前这章作为分割点,开启MySQL高可用方案的落地实践分享的新章程!
643 1
|
2月前
|
SQL 存储 关系型数据库
(一)全解MySQL之架构篇:自顶向下深入剖析MySQL整体架构!
无论你是前端还是后端,只要是一个合格的开发者,对于MySQL这个名词相信都不陌生,MySQL逐渐成为了最受欢迎的关系型数据库,无论你是大前端,亦或是Java、Go、Python、C/C++、PHP....等这些语言的程序员,对于MySQL是必然要掌握的核心技术之一,程序员不能没有MySQL,就像西方不能失去耶路撒冷一般。
306 0
|
2月前
|
开发框架 前端开发 关系型数据库
ABP框架使用Mysql数据库,以及基于SQLServer创建Mysql数据库的架构和数据
ABP框架使用Mysql数据库,以及基于SQLServer创建Mysql数据库的架构和数据
|
4天前
|
存储 SQL 关系型数据库
使用MySQL Workbench进行数据库备份
【9月更文挑战第13天】以下是使用MySQL Workbench进行数据库备份的步骤:启动软件后,通过“Database”菜单中的“管理连接”选项配置并选择要备份的数据库。随后,选择“数据导出”,确认导出的数据库及格式(推荐SQL格式),设置存储路径,点击“开始导出”。完成后,可在指定路径找到备份文件,建议定期备份并存储于安全位置。
65 11
|
29天前
|
SQL 关系型数据库 MySQL
【揭秘】MySQL binlog日志与GTID:如何让数据库备份恢复变得轻松简单?
【8月更文挑战第22天】MySQL的binlog日志记录数据变更,用于恢复、复制和点恢复;GTID为每笔事务分配唯一ID,简化复制和恢复流程。开启binlog和GTID后,可通过`mysqldump`进行逻辑备份,包含binlog位置信息,或用`xtrabackup`做物理备份。恢复时,使用`mysql`命令执行备份文件,或通过`innobackupex`恢复物理备份。GTID模式下的主从复制配置更简便。
122 2
|
24天前
|
弹性计算 关系型数据库 数据库
手把手带你从自建 MySQL 迁移到云数据库,一步就能脱胎换骨
阿里云瑶池数据库来开课啦!自建数据库迁移至云数据库 RDS原来只要一步操作就能搞定!点击阅读原文完成实验就可获得一本日历哦~
|
27天前
|
关系型数据库 MySQL 数据库
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决