京东二面:MySQL 主备延迟有哪些坑?主备切换策略

简介: 一、什么是高可用?维基百科定义:高可用性(high availability,缩写 HA),指系统无中断地执行其功能的能力,代表系统的可用性程度。高可用性通常通过提高系统的容错能力来实现。MySQL 的高可用是如何实现的呢?

一、什么是高可用?

维基百科定义:

高可用性(high availability,缩写 HA),指系统无中断地执行其功能的能力,代表系统的可用性程度。高可用性通常通过提高系统的容错能力来实现。

MySQL 的高可用是如何实现的呢?

首先,我们来看这张图

过程:

  • 开始时,处理流程主要是 场景一
  • 客户端 读、写 ,访问的是主库
  • 主库通过某种机制,将数据实时同步给备库
  • 当主库突然发生故障(如:磁盘损坏等),无法正常响应客户端的请求。此时会 自动主备切换 ,进入 场景二
  • 客户端读写,访问的是备库(此时备库升级为新主库)

看似天衣无缝,那是不是可以高枕无忧了呢???兄弟,想多了

主备切换,确实能满足高可用要求。但有个前提,主备库的数据要同步。

不过, 数据同步 是个异步操作,不可能做到实时,所以说 主备延迟 是一定存在的

二、什么是主备延迟?

  • 主库完成一个事务,写入binlog。binlog 中有一个时间字段,用于记录主库写入的时间【时刻 t1】
  • binlog 同步给备库,备库接收并存储到中继日志 【时刻 t2】
  • 备库SQL执行线程执行binlog,数据写入到备库表中 【时刻 t3】

主备延迟时间计算公式:

t3 - t1

有没有简单命令,直接查看。在备库执行 show slave status 命令

seconds_behind_master,表示当前备库延迟了多少秒

心细的同学会有疑问了, t3 和 t1 分属于两台机器,如果时钟不一致怎么办?

初始化时,备库连接到主库,会执行 SELECT UNIX_TIMESTAMP() 来获得当前主库的系统时间。

如果发现主库的系统时间与备库不一致,备库在计算 seconds_behind_master 会自动减掉这个差值。

注意:

binlog 数据传输的时间(t2 - t1)非常短,可以忽略。主要延迟花费在备库执行binlog日志

三、主备延迟常见原因

1、备库机器配置差

这个不难理解,“门当户对”、“志同道合”,如果主备机器的性能差别大,直接导致备库的同步速度跟不上主库的生产节奏。

就像跑步一样,落后的差距会越来越大。

解决方案:

1、升级备份库的机器配置

2、备库干私活

备库除了服务于正常的 读业务 外,是否有被其他特殊业务征用,如:运营数据统计等,这类操作非常消耗系统资源,也会影响数据同步速度。

解决方案:

可以借助大数据平台,数据异构,满足这些特殊的统计类查询。

3、大事务

我们知道 binglog 是在事务提交时才生成的。

如果是处理大事务,执行时间比较长(比如 5分钟)。虽然备库很快拿到 binlog,但是在 备库回放执行也要花费差不多的时间 ,也要 5分钟 (备库中,只有这个事务执行完提交,备库才真正对外可见),从而导致主备延迟很大。

比如 delete 操作,慎用 delete from 表名 ,建议采用分批删除,减少大事务。

四、主库不可用,主备切换有哪些策略?

1、可靠优先

当主库A 发生故障不可用时,开始进入主备切换

  • 首先,判断 B库 seconds_behind_master 是否小于设定的阈值(比如 4 秒),如果满足条件
  • 将 A库 改为只读状态,将 readonly 设置为 true。断掉 A 库的写入操作,保证不会有新的写入流量进来
  • 判断 B库的 seconds_behind_master ,直到为 0
  • 修改 B库 为 读、写状态
  • 客户端的请求打到 B库

此时,主备切换完成。

优点:

数据不会丢失,所以我们称为可靠性高

缺点:

中间有个阶段,A库和B库都是只读状态,此时系统对外不能提供写服务。

2、可用优先

当然我们也可以不用等主备数据同步完成,在一开始时就直接将流量切到备库。

这样备库的流量就可能有两个来源:

  • 主库之前的剩余流量 binlog
  • 客户端新请求进来的流量

两部分流量冲击,会对 数据一致性 造成一些影响。

我们来做个实验:

首次创建一个用户表:

CREATE TABLE `person` (
  `id`  bigint(20) unsigned  NOT NULL AUTO_INCREMENT,
  `name` varchar(32) ,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB;

插入2条记录

insert into person(name) values ("tom");
insert into person(name) values ("jerry");

实验一:

将 binlog 的格式设为 binlog_format=row

说明:row 模式,写 binlog 时会记录所有字段的值

库A 、库B 在做数据同步时,都会报主键冲突,最后只有一行数据不一致,但是会丢数据。

优点:同步过程中,出现问题能够及时发现。

实验二:

将 binlog 格式设置为 statement 或者 mixed

按照 SQL 原始语句同步 binlog,可以看到,数据条数不会少,但是主键id会出现混乱。

3、结论

本着 "攘外必先安内" ,保证内部的数据的正确性是我们的首选。所以,一般建议大家选择 可靠优先

但是可靠优先可能会导致一定时间内,数据库不可用。这个时间值取决于主备延迟的时间大小。

所以,我们应尽可能缩短主备库的延迟时间大小,这样一旦主库发生故障,备库才会更快的同步完数据,主备切换才能完成,服务才能更快恢复。

本文就是愿天堂没有BUG给大家分享的内容,大家有收获的话可以分享下,想学习更多的话可以到微信公众号里找我,我等你哦。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
2月前
|
存储 消息中间件 监控
MySQL 到 ClickHouse 明细分析链路改造:数据校验、补偿与延迟治理
蒋星熠Jaxonic,数据领域技术深耕者。擅长MySQL到ClickHouse链路改造,精通实时同步、数据校验与延迟治理,致力于构建高性能、高一致性的数据架构体系。
MySQL 到 ClickHouse 明细分析链路改造:数据校验、补偿与延迟治理
|
4月前
|
缓存 关系型数据库 MySQL
降低MySQL高CPU使用率的优化策略。
通过上述方法不断地迭代改进,在实际操作中需要根据具体场景做出相对合理判断。每一步改进都需谨慎评估其变动可能导致其他方面问题,在做任何变动前建议先在测试环境验证其效果后再部署到生产环境中去。
230 6
|
缓存 关系型数据库 MySQL
MySQL索引策略与查询性能调优实战
在实际应用中,需要根据具体的业务需求和查询模式,综合运用索引策略和查询性能调优方法,不断地测试和优化,以提高MySQL数据库的查询性能。
632 66
|
5月前
|
缓存 关系型数据库 MySQL
在MySQL中处理高并发和负载峰值的关键技术与策略
采用上述策略和技术时,每个环节都要进行细致的规划和测试,确保数据库系统既能满足高并发的要求,又要保持足够的灵活性来应对各种突发的流量峰值。实施时,合理评估和测试改动对系统性能的影响,避免单一措施可能引起的连锁反应。持续的系统监控和分析将对维护系统稳定性和进行未来规划提供重要信息。
315 15
|
4月前
|
缓存 关系型数据库 MySQL
MySQL数据库性能调优:实用技术与策略
通过秉持以上的策略实施具体的优化措施,可以确保MySQL数据库的高效稳定运行。务必结合具体情况,动态调整优化策略,才能充分发挥数据库的性能潜力。
214 0
|
7月前
|
存储 SQL 关系型数据库
京东面试:mysql深度分页 严重影响性能?根本原因是什么?如何优化?
京东面试:mysql深度分页 严重影响性能?根本原因是什么?如何优化?
京东面试:mysql深度分页 严重影响性能?根本原因是什么?如何优化?
|
8月前
|
关系型数据库 MySQL 大数据
大数据新视界--大数据大厂之MySQL 数据库课程设计:MySQL 数据库 SQL 语句调优的进阶策略与实际案例(2-2)
本文延续前篇,深入探讨 MySQL 数据库 SQL 语句调优进阶策略。包括优化索引使用,介绍多种索引类型及避免索引失效等;调整数据库参数,如缓冲池、连接数和日志参数;还有分区表、垂直拆分等其他优化方法。通过实际案例分析展示调优效果。回顾与数据库课程设计相关文章,强调全面认识 MySQL 数据库重要性。为读者提供综合调优指导,确保数据库高效运行。
|
8月前
|
监控 Java 关系型数据库
Spring Boot整合MySQL主从集群同步延迟解决方案
本文针对电商系统在Spring Boot+MyBatis架构下的典型问题(如大促时订单状态延迟、库存超卖误判及用户信息更新延迟)提出解决方案。核心内容包括动态数据源路由(强制读主库)、大事务拆分优化以及延迟感知补偿机制,配合MySQL参数调优和监控集成,有效将主从延迟控制在1秒内。实际测试表明,在10万QPS场景下,订单查询延迟显著降低,超卖误判率下降98%。
373 5
|
10月前
|
SQL 关系型数据库 MySQL
京东面试:MySQL MVCC是如何实现的?如何通过MVCC实现读已提交、可重复读隔离级别的?
1.请解释什么是MVCC,它在数据库中的作用是什么? 2.在MySQL中,MVCC是如何实现的?请简述其工作原理。 3.MVCC是如何解决读-写和写-写冲突的? 4.在并发环境中,当多个事务同时读取同一行数据时,MVCC是如何保证每个事务看到的数据版本是一致的? 5.MVCC如何帮助提高数据库的并发性能?
京东面试:MySQL MVCC是如何实现的?如何通过MVCC实现读已提交、可重复读隔离级别的?
|
11月前
|
监控 关系型数据库 MySQL
Aurora MySQL负载突增应对策略与优化方案
通过以上策略,企业可以有效应对 Aurora MySQL 的负载突增,确保数据库在高负载情况下依然保持高性能和稳定性。这些优化方案涵盖了从架构设计到具体配置和监控的各个方面,能够全面提升数据库的响应速度和处理能力。在实际应用中,应根据具体的业务需求和负载特征,灵活调整和应用这些优化策略。
214 22

推荐镜像

更多