Mysql事务实现原理

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
日志服务 SLS,月写入数据量 50GB 1个月
简介: 1)BinLog是Mysql本身就有的,不管使用哪种引擎,都会存在BinLog,而Redo Log是InnoDB引擎特有的。2)BinLog是一种逻辑日志,记录的是对数据库的所有修改操作,而RedoLog是一种物理日志,记录的是每个数据页的修改。3)BinLog具有幂等性,而Redo Log不具有幂等性。4)BinLog开启事务时,会将每次提交的事务一次性写入内存缓冲区,如果未开启事务,则每次成功执行插入、更新和删除语句时,就会将对应的事务信息写入内存缓冲区修改数据,而Redo Log是在数据准备之前将数据写入缓冲区的Redo Log中,然后在缓冲区中修改数据。而且在提交事务时,先将Re

一、Redo Log

Mysql中的事务的原子性和持久性是由Redo Log实现的。Redo Log也被称为重做日志。Redo通常用来记录物理日志。Redo Log包含两部分:

Redo Log Buffer:内存中的日志缓冲,易丢失

Redo Log File: 存放在磁盘中的重做日志,不易丢失

Redo Log四种刷盘规则:

1)通过innodb_flush_log_at_trx_commit决定,其中:

    1的性能最差,即使崩溃,也不会丢失日志

    0是每1s写入日志

    2是每秒写入到buffer中,然后通过fsync同步

2)通过刷新日志频率:innodb_flush_log_at_timeout的值决定

3)当Log Buffer中已经使用的内存超过一半时,也会触发

4)当事务中存在checkpoint时,在一定程度上代表刷写到磁盘日志所在的LSN位置

LSN:日志的逻辑序列号,占8个字节

二、Undo Log

Mysql的一致性由undo log实现的。undo log在Mysql事务的实现中主要作用:回滚事务多版本并发事务 MVCC在Mysql启动事务之前,会先将要修改的数据存储到undo log中。如果事务发生回滚或数据库崩溃,可以利用undo log对数据库中未提交的事务进行回滚操作,从而保证数据的一致性。undo log也会产生Redo Log。由于undolog的完整性和可靠性需要Redo Log来保证。数据库崩溃时,先做Redo Log数据恢复,然后做Undo Log 。

undo Log在Mysql中采用段的方式进行管理,在数据库文件中存在一种叫rollback segment的回滚段,在这个回滚段内部存在1024个undo log segment段。undolog默认存储在共享数据表空间中,默认为idata1文件中。

undo log回滚段中,undo logs分为:

insert undo log(插入)

update undo log(更新和删除)

MVCC:在数据表后面保存了两个隐藏列,保存行的创建版本、保存行的删除版本

DB_TRX_ID、DB_ROLL_PTR、DB_ROW_ID

三、BinLog

一种记录所有Mysql数据库表结构变更以及表数据变更的二进制日志。BinLog的使用场景:主从复制数据恢复

BinLog记录的模式:

row

statement

mixed

row模式:Row模式下的BinLog文件会记录每一行数据被修改情况,然后在mysql从数据库中对相同的数据进行修改。会记录每一行修改的情况。

statement模式:BinLog文件会记录每一条修改数据的Sql语句,Mysql从数据库在复制sql语句的时候,会通过sql进程将BinLog中的sql语句解析成和mysql主数据库执行过的sql语句相同的sql语句,然后在从数据库上执行sql进程解析出来的sql语句。记录数据修改的sql语句。

mixed模式:是row和statement模式的混合。

通常情况下,采用mixed模式mysql的BinLog文件中保存了数据库、数据库表和数据表中的数据的各种更新操作。用来表示修改操作的数据结构叫做日志事件。比较常见的日志事件:Query Event、Row Event、Xid Event等。

BinLog的写入机制:mysql事务提交的时候,会记录事务日志和BinLog日志。其中BinLog日志先于事务日志Redo Log。

根据日志记录模式和操作触发生成日志事件。

在InnoDB存储中,提交事务时,一般会进行两个阶段的操作。

1)修改内存中事务对应的信息,并将日志写入相应的Redo Log Buffer。

2)调用fsync()函数将Redo Log Buffer中的日志信息刷新到磁盘的Redo Log文件中。

四、Bin Log和Redo Log的区别

1)BinLog是Mysql本身就有的,不管使用哪种引擎,都会存在BinLog,而RedoLog是InnoDB引擎特有的。

2)BinLog是一种逻辑日志,记录的是对数据库的所有修改操作,而RedoLog是一种物理日志,记录的是每个数据页的修改。

3)BinLog具有幂等性,而RedoLog不具有幂等性。

4)BinLog开启事务时,会将每次提交的事务一次性写入内存缓冲区,如果未开启事务,则每次成功执行插入、更新和删除语句时,就会将对应的事务信息写入内存缓冲区修改数据,而RedoLog是在数据准备之前将数据写入缓冲区的RedoLog中,然后在缓冲区中修改数据。而且在提交事务时,先将RedoLog写入缓冲区,写入完成后再提交事务。

5)BinLog只会在事务提交时,一次性写入BinLog,其日志的记录方式与事务的提交顺序有关。

6)BinLog是追加写入。RedoLog是循环写入,日志空间的大小是固定的。

7)BinLog一般用于主从复制和数据恢复,并且不具备崩溃自动恢复的能力,而RedoLog是在服务器发生的故障后重启Mysql,用于恢复事务已提交但未写入数据表的数据。


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
23天前
|
关系型数据库 MySQL Linux
MySQL原理简介—6.简单的生产优化案例
本文介绍了数据库和存储系统的几个主题: 1. **MySQL日志的顺序写和数据文件的随机读指标**:解释了磁盘随机读和顺序写的原理及对数据库性能的影响。 2. **Linux存储系统软件层原理及IO调度优化原理**:解析了Linux存储系统的分层架构,包括VFS、Page Cache、IO调度等,并推荐使用deadline算法优化IO调度。 3. **数据库服务器使用的RAID存储架构**:介绍了RAID技术的基本概念及其如何通过多磁盘阵列提高存储容量和数据冗余性。 4. **数据库Too many connections故障定位**:分析了MySQL连接数限制问题的原因及解决方法。
|
17天前
|
存储 缓存 关系型数据库
MySQL底层概述—9.ACID与事务
本文介绍了数据库事务的ACID特性(原子性、一致性、隔离性、持久性),以及事务控制的演进过程,包括排队、排它锁、读写锁和MVCC(多版本并发控制)。文章详细解释了每个特性的含义及其在MySQL中的实现方式,并探讨了事务隔离级别的类型及其实现机制。重点内容包括:ACID特性(原子性、持久性、隔离性和一致性的定义及其实现方式)、事务控制演进(从简单的全局排队到复杂的MVCC,逐步提升并发性能)、MVCC机制(通过undo log多版本链和Read View实现高效并发控制)、事务隔离级别(析了四种隔离级别(读未提交、读已提交、可重复读、可串行化)的特点及适用场景)、隔离级别与锁的关系。
|
24天前
|
SQL Java 关系型数据库
MySQL原理简介—3.生产环境的部署压测
本文介绍了Java系统和数据库在高并发场景下的压测要点: 1. 普通系统在4核8G机器上每秒能处理几百个请求 2. 高并发下数据库建议使用8核16G或更高配置的机器 3. 数据库部署后需进行基准压测,以评估其最大承载能力 4. QPS和TPS的区别及重要性 5. 压测时需关注IOPS、吞吐量、延迟 6. 除了QPS和TPS,还需监控CPU、内存、磁盘IO、网络带宽 7. 影响每秒可处理并发请求数的因素包括线程数、CPU、内存、磁盘IO和网络带宽 8. Sysbench是数据库压测工具,可构造测试数据并模拟高并发场景 9. 在增加线程数量的同时,必须观察机器的性能,确保各硬件负载在合理范围
125 72
|
26天前
|
SQL 存储 关系型数据库
MySQL原理简介—1.SQL的执行流程
本文介绍了MySQL驱动、数据库连接池及SQL执行流程的关键组件和作用。主要内容包括:MySQL驱动用于建立Java系统与数据库的网络连接;数据库连接池提高多线程并发访问效率;MySQL中的连接池维护多个数据库连接并进行权限验证;网络连接由线程处理,监听请求并读取数据;SQL接口负责执行SQL语句;查询解析器将SQL语句解析为可执行逻辑;查询优化器选择最优查询路径;存储引擎接口负责实际的数据操作;执行器根据优化后的执行计划调用存储引擎接口完成SQL语句的执行。整个流程确保了高效、安全地处理SQL请求。
173 76
|
14天前
|
关系型数据库 MySQL 数据库
RDS用多了,你还知道MySQL主从复制底层原理和实现方案吗?
随着数据量增长和业务扩展,单个数据库难以满足需求,需调整为集群模式以实现负载均衡和读写分离。MySQL主从复制是常见的高可用架构,通过binlog日志同步数据,确保主从数据一致性。本文详细介绍MySQL主从复制原理及配置步骤,包括一主二从集群的搭建过程,帮助读者实现稳定可靠的数据库高可用架构。
40 9
RDS用多了,你还知道MySQL主从复制底层原理和实现方案吗?
|
21天前
|
SQL 存储 关系型数据库
MySQL原理简介—9.MySQL索引原理
本文详细介绍了MySQL索引的设计与使用原则,涵盖磁盘数据页的存储结构、页分裂机制、主键索引设计及查询过程、聚簇索引和二级索引的原理、B+树索引的维护、联合索引的使用规则、SQL排序和分组时如何利用索引、回表查询对性能的影响以及索引覆盖的概念。此外还讨论了索引设计的案例,包括如何处理where筛选和order by排序之间的冲突、低基数字段的处理方式、范围查询字段的位置安排,以及通过辅助索引来优化特定查询场景。总结了设计索引的原则,如尽量包含where、order by、group by中的字段,选择离散度高的字段作为索引,限制索引数量,并针对频繁查询的低基数字段进行特殊处理等。
MySQL原理简介—9.MySQL索引原理
|
19天前
|
存储 关系型数据库 MySQL
MySQL底层概述—6.索引原理
本文详细回顾了:索引原理、二叉查找树、平衡二叉树(AVL树)、红黑树、B-Tree、B+Tree、Hash索引、聚簇索引与非聚簇索引。
MySQL底层概述—6.索引原理
|
21天前
|
SQL 监控 关系型数据库
MySQL原理简介—12.MySQL主从同步
本文介绍了四种为MySQL搭建主从复制架构的方法:异步复制、半同步复制、GTID复制和并行复制。异步复制通过配置主库和从库实现简单的主从架构,但存在数据丢失风险;半同步复制确保日志复制到从库后再提交事务,提高了数据安全性;GTID复制简化了配置过程,增强了复制的可靠性和管理性;并行复制通过多线程技术降低主从同步延迟,保证数据一致性。此外,还讨论了如何使用工具监控主从延迟及应对策略,如强制读主库以确保即时读取最新数据。
MySQL原理简介—12.MySQL主从同步
|
2天前
|
自然语言处理 搜索推荐 关系型数据库
MySQL实现文档全文搜索,分词匹配多段落重排展示,知识库搜索原理分享
本文介绍了在文档管理系统中实现高效全文搜索的方案。为解决原有ES搜索引擎私有化部署复杂、运维成本高的问题,我们转而使用MySQL实现搜索功能。通过对用户输入预处理、数据库模糊匹配、结果分段与关键字标红等步骤,实现了精准且高效的搜索效果。目前方案适用于中小企业,未来将根据需求优化并可能重新引入专业搜索引擎以提升性能。
|
23天前
|
SQL 缓存 关系型数据库
MySQL原理简介—7.redo日志的底层原理
本文介绍了MySQL中redo日志和undo日志的主要内容: 1. redo日志的意义:确保事务提交后数据不丢失,通过记录修改操作并在系统宕机后重做日志恢复数据。 2. redo日志文件构成:记录表空间号、数据页号、偏移量及修改内容。 3. redo日志写入机制:redo日志先写入Redo Log Buffer,再批量刷入磁盘文件,减少随机写以提高性能。 4. Redo Log Buffer解析:描述Redo Log Buffer的内存结构及刷盘时机,如事务提交、Buffer过半或后台线程定时刷新。 5. undo日志原理:用于事务回滚,记录插入、删除和更新前的数据状态,确保事务可完整回滚。
104 22