MySQL 5.7 增强的离线分析工具innochecksum

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

最近正准备写个工具来分析ibd文件中的数据分布,刚扫了下MySQL5.7的代码,发现这个功能已经在5.7.2版本中完成了;在新版本中增强了innochecksum的一些分析功能,完全可以满足我的需求

相关代码见:
http://bazaar.launchpad.net/~mysql/mysql-server/5.7/revision/5912
http://bazaar.launchpad.net/~mysql/mysql-server/5.7/revision/5841
http://bazaar.launchpad.net/~mysql/mysql-server/5.7/revision/5684
唯一的缺点就是:文件不可以打开!换句话说,可能需要关闭实例才能使用如下功能!!!
以下列出了几个感兴趣的命令,具体的可以参考文档!
                                                                             .
输出ibd中总的page数
$sudo ./innochecksum --count ../data/sbtest/sbtest1.ibd
Number of pages:8192
可以指定checksum的算法(crc32/innodb/none):
$sudo ./innochecksum  --page=20 --strict-check=crc32  ../data/sbtest/sbtest1.ibd      
Fail: page 20 invalid
Exceeded the maximum allowed checksum mismatch count::0

 

指定–no-check –write 重写无效的page checksum值 ,也可以为–write指定值innodb/crc32/none 来写入page中指定的值   (这应该属于危险操作)
                                                                            .
使用–page-type-summary输出各种page类型的个数:
$sudo ./innochecksum  --page-type-summary  ../data/sbtest/sbtest1.ibd 

File::../data/sbtest/sbtest1.ibd
================PAGE TYPE SUMMARY==============
#PAGE_COUNT     PAGE_TYPE
===============================================
    7383        Index page
       0        Undo log page
       1        Inode page
       0        Insert buffer free list page
     806        Freshly allocated page
       1        Insert buffer bitmap
       0        System page
       0        Transaction system page
       1        File Space Header
       0        Extent descriptor page
       0        BLOB page
       0        Compressed BLOB page
       0        Other type of page
===============================================
Additional information:
Undo page type: 0 insert, 0 update, 0 other
Undo page state: 0 active, 0 cached, 0 to_free, 0 to_purge, 0 prepared, 0 other

$sudo ./innochecksum  --page-type-summary  ../data/ibdata1           

File::../data/ibdata1
================PAGE TYPE SUMMARY==============
#PAGE_COUNT     PAGE_TYPE
===============================================
    1028        Index page
     408        Undo log page
       5        Inode page
     468        Insert buffer free list page
  325655        Freshly allocated page
       1        Insert buffer bitmap
     112        System page
       2        Transaction system page
       1        File Space Header
       0        Extent descriptor page
       0        BLOB page
       0        Compressed BLOB page
       0        Other type of page
===============================================
Additional information:
Undo page type: 102 insert, 306 update, 0 other
Undo page state: 0 active, 150 cached, 0 to_free, 199 to_purge, 0 prepared, 59 other
指定 –page-type-dump则将每个page的detail都输出到指定文件中
$sudo ./innochecksum --page-type-dump=a.log  ../data/sbtest/sbtest1.ibd

$head -n 20 a.log 

Filename::../data/sbtest/sbtest1.ibd
==============================================================================
        PAGE_NO         |               PAGE_TYPE                       |       EXTRA INFO
==============================================================================
#::       0             |               File Space Header               |       -
#::       1             |               Insert Buffer Bitmap            |       -
#::       2             |               Inode page                      |       -
#::       3             |               Index page                      |       index id=65, page level=2, No. of records=7, garbage=0, -
#::       4             |               Index page                      |       index id=66, page level=1, No. of records=518, garbage=102, -
#::       5             |               Index page                      |       index id=65, page level=0, No. of records=36, garbage=7696, -
#::       6             |               Index page                      |       index id=65, page level=0, No. of records=73, garbage=0, -
#::       7             |               Index page                      |       index id=65, page level=0, No. of records=73, garbage=0, -
#::       8             |               Index page                      |       index id=65, page level=0, No. of records=73, garbage=0, -
#::       9             |               Index page                      |       index id=65, page level=0, No. of records=73, garbage=0, -
#::      10             |               Index page                      |       index id=65, page level=0, No. of records=73, garbage=0, -
#::      11             |               Index page                      |       index id=65, page level=0, No. of records=73, garbage=0, -
#::      12             |               Index page                      |       index id=65, page level=0, No. of records=73, garbage=0, -
#::      13             |               Index page                      |       index id=65, page level=0, No. of records=73, garbage=0, -
指定–log输出每个page的checksum值
$sudo ./innochecksum --log=b.log  ../data/sbtest/sbtest1.ibd
$head -n 10 b.log  
InnoDB File Checksum Utility.
Filename = ../data/sbtest/sbtest1.ibd
Innochecksum: checking pages in range 0 to 8191
page::0; log sequence number:first = 260537423; second = 260537423
page::0; old style : calculated = 3962072366; recorded = 3962072366
page::0; new style: calculated = 1038926020; crc32 = 1327342271; recorded = 1038926020
page::1; log sequence number:first = 261782093; second = 261782093
page::1; old style : calculated = 3860212858; recorded = 3860212858
page::1; new style: calculated = 1118813775; crc32 = 142105317; recorded = 1118813775
page::2; log sequence number:first = 92384856; second = 92384856
另外之前一直无法支持的压缩表checksum的问题也得到了解决,和正常的ibd文件一样解析

 


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3月前
|
canal 消息中间件 关系型数据库
Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
【9月更文挑战第1天】Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
831 4
|
7天前
|
SQL 关系型数据库 MySQL
MySQL 窗口函数详解:分析性查询的强大工具
MySQL 窗口函数从 8.0 版本开始支持,提供了一种灵活的方式处理 SQL 查询中的数据。无需分组即可对行集进行分析,常用于计算排名、累计和、移动平均值等。基本语法包括 `function_name([arguments]) OVER ([PARTITION BY columns] [ORDER BY columns] [frame_clause])`,常见函数有 `ROW_NUMBER()`, `RANK()`, `DENSE_RANK()`, `SUM()`, `AVG()` 等。窗口框架定义了计算聚合值时应包含的行。适用于复杂数据操作和分析报告。
47 11
|
2月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1706 14
|
2月前
|
存储 关系型数据库 MySQL
基于案例分析 MySQL 权限认证中的具体优先原则
【10月更文挑战第26天】本文通过具体案例分析了MySQL权限认证中的优先原则,包括全局权限、数据库级别权限和表级别权限的设置与优先级。全局权限优先于数据库级别权限,后者又优先于表级别权限。在权限冲突时,更严格的权限将被优先执行,确保数据库的安全性与资源合理分配。
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
91 3
|
2月前
|
SQL 关系型数据库 MySQL
MySQL 更新1000万条数据和DDL执行时间分析
MySQL 更新1000万条数据和DDL执行时间分析
184 4
|
2月前
|
SQL 自然语言处理 关系型数据库
Vanna使用ollama分析本地MySQL数据库
这篇文章详细介绍了如何使用Vanna结合Ollama框架来分析本地MySQL数据库,实现自然语言查询功能,包括环境搭建和配置流程。
315 0
|
3月前
|
SQL 缓存 关系型数据库
MySQL高级篇——性能分析工具
MySQL的慢查询日志,用来记录在MySQL中响应时间超过阀值的语句,具体指运行时间超过long-query_time值的SQL,则会被记录到慢查询日志中。long_query_time的默认值为 10,意思是运行10秒以上(不含10秒)的语句,认为是超出了我们的最大忍耐时间值。它的主要作用是,帮助我们发现那些执行时间特别长的 SOL 查询,并且有针对性地进行优化,从而提高系统的整体效率。当我们的数据库服务器发生阻塞、运行变慢的时候,检查一下慢查询日志,找到那些慢查询,对解决问题很有帮助。
MySQL高级篇——性能分析工具
|
3月前
|
Oracle NoSQL 关系型数据库
主流数据库对比:MySQL、PostgreSQL、Oracle和Redis的优缺点分析
主流数据库对比:MySQL、PostgreSQL、Oracle和Redis的优缺点分析
642 2
|
3月前
|
安全 关系型数据库 MySQL
Navicat工具设置MySQL权限的操作指南
通过上述步骤,您可以使用Navicat有效地为MySQL数据库设置和管理用户权限,确保数据库的安全性和高效管理。这个过程简化了数据库权限管理,使其既直观又易于操作。
463 4

推荐镜像

更多