一文带你了解MySQL之Doublewrite Buffer

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 上一篇文章MySQL之Adaptive Hash Index详解我们学习了InnoDB Adaptive Hash Index自适应哈希索引的工作原理。其本质是将频繁访问数据页的索引键值以“Key”放在缓存中,“Value”为该索引键值匹配完整记录所在页面(Page)的位置,通过缩短寻路路径(Search Path)从而提升MySQL查询性能的一种方式。今天我们就学习了解一下Doublewrite Buffer是什么?工作原理是怎样的?

一、不同程序的page

这里我们需要知道的是Doublewrite Buffer被MySQL放在官档目录“磁盘结构”中了,但真实情况是Doublewrite Buffer是内存+磁盘的结构。

微信图片_20230525232140.png



官档地址:https://dev.mysql.com/doc/refman/8.0/en/innodb-doublewrite-buffer.html

点击此处跳转


1.1 Linux系统的Page OR MySQL的Page 大小对比

操作系统可以看成是一个程序,作为程序而言,都有最小处理单位的说法,我们常见的服务器一般都是Linux操作系统,对应文件系统的页(OS Page)就可以看成是Linux操作系统与文件系统交互的最小单位。可以通过下面的命令来查看:


[root@mysql2 ~]# getconf PAGESIZE

4096


通过结果可以看出,Linux文件系统页(OS Page)的大小是4KB。同样地,MySQL作为一个程序也是有最小交互单位的,即InnoDB Buffer Pool能处理的最小单位,可以通过以下SQL命令查看:


mysql> show variables like '%innodb_page_size%';

+------------------+-------+

| Variable_name    | Value |

+------------------+-------+

| innodb_page_size | 16384 |

+------------------+-------+

1 row in set (0.01 sec)

如上,MySQL页(Page)大小默认为16KB


1.2 不同大小Page的程序在交互过程中会出现什么问题

一般情况下,除了操作系统的页(OS Page)为4KB之外,其余程序的页(Page)都会大于等于操作系统的页大小,比如,Oracle的Page大小为8KB。MySQL的Page大小也可以通过上面innodb_page_size参数指定(5.6版本以前,不可调整;5.6版本时,可自定义为8KB、4KB,但不能调大;5.7版本以后,才可以改成32KB、64KB。我们使用默认值即可。


我们知道操作系统的页大小和MySQL的页大小了,而且MySQL程序是跑在Linux操作系统上的,所以可以得出一个结论:MySQL将Buffer Pool中一页数据刷入磁盘,要写4个文件系统里的页。

微信图片_20230525232202.png

如上图所示,,MySQL里Page 1的页,物理上对应磁盘的Page 1、Page 2、Page 3、Page 4四个页,假设MySQL内Page 1的页准备刷入磁盘,才刷了3个文件系统里的页,掉电了,则会出现重启后,MySQL内Page 1的页,物理上对应磁盘上的Page 1、Page 2、Page 3三个页,数据完整性被破坏。(Redo Log无法修复这类“页数据损坏”的异常,修复的前提是“页数据正确”并且Redo日志正常)


二、Doublewrite Buffer概念

针对上面出现的情况,如何解决这类“页数据损坏”的问题呢?很容易想到的方法是,能有一个“副本”,对原来的页进行还原,这个存储“副本”的地方,就是Doublewrite Buffer。Doublewrite Buffer,它与传统的“Buffer”又不同,它分为内存和磁盘的两层架构。(传统的“Buffer”,大部分是内存存储;而DWB里的数据,是需要落地的)


三、Doublewrite Buffer工作流程

微信图片_20230525232221.png

如上图所示,当有页数据要刷盘时:


页数据先memcopy到DWB的内存里;

DWB的内存里的数据页,会先刷到DWB的磁盘上;

DWB的内存里的数据页,再刷到数据磁盘存储.ibd文件上;

DWB为什么能解决“页数据损坏”问题呢?


假设步骤2掉电,磁盘里依然是Page 1、Page 2、Page 3、Page 4的完整数据。只要有页数据完整,就能通过Redo Log还原数据;假如步骤3掉电,DWB磁盘结构里存储着完整的数据。所以,一定不会出现“页数据损坏”问题。同时写了DWB磁盘和Data File,总有一个地方的数据是OK的


为什么叫Doublewrite?


步骤2和步骤3要写2次磁盘,这就是“Doublewrite”的由来


能够通过DWB保证页数据的完整性,但毕竟DWB要写两次磁盘,会不会导致数据库性能急剧降低呢?


页数据memcopy到DWB的内存,速度很快;

DWB的内存fsync刷到DWB的磁盘,属于顺序追加写,速度也很快;

刷磁盘,随机写,本来就需要进行,不属于额外操作;

另外,128页(每页16K)2M的DWB,会分两次刷入磁盘,每次最多64页,即1M的数据(所以图中我们的DWB磁盘结构分为了两部分),执行也是非常之快的。综上,性能会有所影响,但影响并不大


四、Doublewrite Buffer的参数


我们使用如下命令查询


mysql> show variables like '%double%';

+-------------------------------+-------+

| Variable_name                 | Value |

+-------------------------------+-------+

| innodb_doublewrite            | ON    |

| innodb_doublewrite_batch_size | 0     |

| innodb_doublewrite_dir        |       |

| innodb_doublewrite_files      | 2     |

| innodb_doublewrite_pages      | 4     |

+-------------------------------+-------+

5 rows in set (0.01 sec)

mysql> show global status like '%dblwr%';

+----------------------------+-------+

| Variable_name              | Value |

+----------------------------+-------+

| Innodb_dblwr_pages_written | 489   |

| Innodb_dblwr_writes        | 176   |

+----------------------------+-------+

2 rows in set (0.00 sec)


4.1 innodb_doublewrite

Doublewrite Buffer是否启用开关,默认是开启状态,InnoDB将所有数据存储两次,首先到双写缓冲区,然后到实际数据文件


如果关闭,需要在my.cnf文件中指定


[mysqld]

innodb_doublewrite = off

4.2 Innodb_dblwr_pages_written & Innodb_dblwr_writes

Innodb_dblwr_pages_written 是doublewrite写的总的页数,即一共写入了489页

innodb_dblwr_writes是实际写入的次数为176

如果两个计数的比例远远小于64:1,则说明系统写入压力并不高。


4.3 innodb_doublewrite_batch_size

控制要批量写入的双写页数。此变量用于高级性能调整。默认值应该适合大多数用户(默认值是0,最大值是256)


4.4 innodb_doublewrite_dir

定义了目录InnoDB创建双写文件。如果未指定innodb_data_home_dir目录,则在目录中创建双写文件,如果未指定,则默认为数据目录。


4.5 innodb_doublewrite_files

定义了双写文件的数量。默认情况下,为每个缓冲池实例创建两个双写文件。双写文件的最大数量是缓冲池实例数量的两倍。(缓冲池实例的数量由innodb_buffer_pool_instances变量控制)


Doublewrite文件名具有以下格式:

例如,以下双写文件是为页面大小为16KB和单个缓冲池的MySQL实例创建的:#ib_丨page_size_file_丨number.dblwr


所以我们的DWB文件就被创建成下面的模样:


[root@mysql2 data]# ll \#ib_16384_*

-rw-r----- 1 mysql mysql  327680 5月   4 12:40 #ib_16384_0.dblwr

-rw-r----- 1 mysql mysql 8716288 4月  26 16:54 #ib_16384_1.dblwr


4.6 innodb_doublewrite_pages

控制每个线程双写页的最大数目。如果未指定值,innodb_doublewrite_pages则设置为该innodb_write_io_threads值。此变量用于高级性能调整。默认值应该适合大多数用户。(最小值和默认值一样,都是innodb_write_io_threads的值,最大值是256)


今天主要讲解了MySQL InnoDB Doublewrite Buffer的工作原理,通过流程图的方式来说明Doublewrite Buffer的工作流程,偏理论的知识,内容比较少也很好理解,大家理解记忆即可,面试也会遇到这个知识点。


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
10月前
|
关系型数据库 MySQL 数据库
MySQL 的 change buffer 是什么?
MySQL 的 change buffer 是什么?
|
9月前
|
存储 关系型数据库 MySQL
MySQL Change Buffer 深入解析:概念、原理及使用
MySQL Change Buffer 深入解析:概念、原理及使用
MySQL Change Buffer 深入解析:概念、原理及使用
|
9月前
|
缓存 关系型数据库 MySQL
MySQL Buffer Pool 解析:原理、组成及作用
MySQL Buffer Pool 解析:原理、组成及作用
|
9月前
|
缓存 关系型数据库 MySQL
MySQL数据库——InnoDB引擎-架构-内存结构(Buffer Pool、Change Buffer、Adaptive Hash Index、Log Buffer)
MySQL数据库——InnoDB引擎-架构-内存结构(Buffer Pool、Change Buffer、Adaptive Hash Index、Log Buffer)
144 3
|
9月前
|
存储 关系型数据库 MySQL
MySQL Doublewrite Buffer(双写缓冲区)深入解析:原理及作用
MySQL Doublewrite Buffer(双写缓冲区)深入解析:原理及作用
|
10月前
|
关系型数据库 MySQL 数据库
MySQL 的 change buffer 是什么?
MySQL 的 change buffer 是什么?
|
10月前
|
SQL 缓存 关系型数据库
MySQL(三)SQL优化、Buffer pool、Change buffer
MySQL(三)SQL优化、Buffer pool、Change buffer
200 0
|
10月前
|
存储 算法 关系型数据库
MySQL之深入InnoDB存储引擎——Buffer Pool
InnoDB存储引擎是基于磁盘存储的,并将其中的记录按照页的方式进行管理。在数据库系统中,由于CPU速度与磁盘速度之间的鸿沟,基于磁盘的数据库系统通常使用缓冲池技术来提高数据库的整体性能。在数据库中进行读取页的操作,首先将从磁盘读到的页存放在缓冲池中,这个过程称为将页“FIX”在缓冲池中,在下一次读取相同的页时,首先判断该页是否存在缓冲池中,如果存在则被命中,直接读取,否则读取磁盘上的页。
|
关系型数据库 MySQL 数据库
MySQL学习笔记-change buffer 和 redo log
MySQL学习笔记-change buffer 和 redo log
206 0
|
2月前
|
关系型数据库 MySQL 数据库连接
数据库连接工具连接mysql提示:“Host ‘172.23.0.1‘ is not allowed to connect to this MySQL server“
docker-compose部署mysql8服务后,连接时提示不允许连接问题解决