RDS MySQL Adaptive Hash Index (AHI)最佳实践

本文涉及的产品
云数据库 RDS SQL Server,基础系列 2核4GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介: 本文介绍了AHI (Adaptive Hash Index)的使用场景以及为何建议默认关闭AHI。

背景

很多客户在使用MySQL时大部分只要语法执行没问题,一般来讲是不太会关注更多细节的。像MySQL的AHI就是其中一个细节。内存的延时是120ns,访问内存里的数据是比较快的。InnoDB监视对每个索引的使用情况,如果它注意到某些索引页经常被访问,并可以从建立AHI中受益,那它会自动为该索引在Buffer Pool里构建hash table。基于InnoDB观察到的搜索模式,它使用索引键的前缀来构建AHI。键的前缀可以是任何长度,而且可能只有B树中的一些值出现在AHI中。

是否使用AHI可以通过innodb_adaptive_hash_index控制。尽管InnoDB可以监控索引的访问,但直到现在也没有对AHI自己的稳定性监控,以至于在生产上遇到某些不适合的场景,需要人为判断要不要禁用AHI。从数据结构上来说,AHI并不适用于所有访问场景,本篇文章就来聊聊它的使用场景。

AHI的关键节点

  • MySQL从5.5版本AHI诞生

但只有一个hash table,只有一把锁,有时保护对AHI的读/写锁可能会在高负载(如多个并发连接)下成为瓶颈。

通过show engine innodb status看到的信息是:

-------------------------------------INSERT BUFFER AND ADAPTIVE HASH INDEX
-------------------------------------Ibuf: size 1, free list len 0, seg size 2,0 merges
merged operations:insert0,delete mark 0,delete0discarded operations:insert0,delete mark 0,delete0Hash table size 50999503, node heap has 1 buffer(s)300220.95 hash searches/s,364993.48 non-hash searches/s
  • MySQL5.7里增加了innodb_adaptive_hash_index_parts

为了解决上述瓶颈问题,从5.7开始(RDS MySQL从5.6支持)对AHI特征进行了分区,分区由innodb_adaptive_hash_index_parts变量控制。MySQL通过取模将AHI锁打散到多个hash table上,也就意味着打散后的hash table越多,AHI锁就打得更散,锁的粒度就更细,并发查询时构建AHI的性能就更好。

通过show engine innodb status看到的信息是:

-------------------------------------INSERT BUFFER AND ADAPTIVE HASH INDEX
-------------------------------------Ibuf: size 1, free list len 0, seg size 2,19164 merges
merged operations:insert135,delete mark 19087,delete33discarded operations:insert0,delete mark 0,delete0Hash table size 6375037, node heap has 1432 buffer(s)Hash table size 6375037, node heap has 2884 buffer(s)Hash table size 6375037, node heap has 1 buffer(s)Hash table size 6375037, node heap has 1 buffer(s)Hash table size 6375037, node heap has 1443 buffer(s)Hash table size 6375037, node heap has 1440 buffer(s)Hash table size 6375037, node heap has 1 buffer(s)Hash table size 6375037, node heap has 18606 buffer(s)1085.85 hash searches/s,0.24 non-hash searches/s

从上面的信息可以看到如果node heap has * buffer(s)不均衡的话,说明AHI有数据倾斜。hash searches/s 命中hash索引的次数,non-hash searches未命中hash索引的次数。

适合的场景

  • 只支持=和in

不适合的场景

AHI的工作流程参考MySQL内核月报的“AHI介绍”。在下面的访问不能使用AHI:

  • drop table、truncate table、alter table 、drop index分区等
  • like、regexp、<=>等
  • 任何范围查询
  • 有spatial索引
  • 排序

在DDL时打开AHI容易引起数据库卡顿的原因如下:

  • 在删除表时,需要先通过扫描LRU链表找到该表在AHI使用的数据页,将这些数据从AHI中删除。如果为MySQL实例配置较多的物理内存,扫描LRU链表可能会导致数据库性能异常甚至数据库Crash。
  • 删除AHI的操作正在执行,而InnoDB数据字典缓存dict_sys被独占锁定,进而影响正常业务获取MDL锁,阻塞正常业务。

关闭AHI

在实际的生产环境场景比较复杂,又很难事先预测AHI是否适合实际生产需要,对于不能从AHI受益的场景,通过SHOW ENGINE INNODB STATUS中SEMAPHORES可以部分监控AHI的使用情况,当看到许多线程在等待btr0sea.c中创建的RW-latch,可以考虑关闭AHI。

鉴于阿里云用户反馈的SQL执行慢或卡顿问题有很多跟打开AHI有关,所以阿里云RDS MySQL 5.6 & 5.7实例从2020-12-02 20:00之后 / 8.0版本从2021-05-22 17:05之后的新购实例默认关闭AHI。对于旧有版本还需要用户自行关闭。

具体操作可以参考下图:

总结

虽然在MySQL官方版本中每个版本都是把AHI默认打开,但根据实际生产中的表现来看却差强人意,InnoDB AHI只能在特定的、几乎是只读的场景中才能提高性能;而对于诸如:drop table、truncate table、alter table或drop index等场景表现不佳,甚至导致MySQL hung或极端场景下的数据损坏。此外,AHI会消耗Buffer Pool的空间,这可能会影响性能。当有上述语句执行时可以在执行之前把AHI关掉,执行完后再打开。但这一系列操作比较麻烦,稍有疏忽可能会影响业务,考虑打开AHI弊大于利,最好禁用AHI。

参考

https://bugs.mysql.com/bug.php?id=100512

https://bugs.mysql.com/bug.php?id=101667

https://bugs.mysql.com/bug.php?id=62018

https://dev.mysql.com/doc/refman/5.6/en/innodb-parameters.html#sysvar_innodb_adaptive_hash_index

https://jira.mariadb.org/browse/MDEV-20487


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
6月前
|
关系型数据库 MySQL 数据库
《MySQL 简易速速上手小册》第2章:数据库设计最佳实践(2024 最新版)
《MySQL 简易速速上手小册》第2章:数据库设计最佳实践(2024 最新版)
55 2
|
1月前
|
关系型数据库 MySQL 数据库
MySQL数据库:基础概念、应用与最佳实践
一、引言随着互联网技术的快速发展,数据库管理系统在现代信息系统中扮演着核心角色。在众多数据库管理系统中,MySQL以其开源、稳定、可靠以及跨平台的特性受到了广泛的关注和应用。本文将详细介绍MySQL数据库的基本概念、特性、应用领域以及最佳实践,帮助读者更好地理解和应用MySQL数据库。二、MySQL
98 5
|
3月前
|
存储 C# 关系型数据库
“云端融合:WPF应用无缝对接Azure与AWS——从Blob存储到RDS数据库,全面解析跨平台云服务集成的最佳实践”
【8月更文挑战第31天】本文探讨了如何将Windows Presentation Foundation(WPF)应用与Microsoft Azure和Amazon Web Services(AWS)两大主流云平台无缝集成。通过具体示例代码展示了如何利用Azure Blob Storage存储非结构化数据、Azure Cosmos DB进行分布式数据库操作;同时介绍了如何借助Amazon S3实现大规模数据存储及通过Amazon RDS简化数据库管理。这不仅提升了WPF应用的可扩展性和可用性,还降低了基础设施成本。
77 0
|
3月前
|
关系型数据库 MySQL 数据库连接
绝对干货!从MySQL5.7平滑升级到MySQL8.0的最佳实践分享
绝对干货!从MySQL5.7平滑升级到MySQL8.0的最佳实践分享
134 0
|
4月前
|
关系型数据库 MySQL 测试技术
MySQL 报错 ERROR 1709: Index column size too large
MySQL 报错 ERROR 1709: Index column size too large
200 4
|
5月前
|
SQL 存储 关系型数据库
精通MySQL:从基础到高级应用与最佳实践
第一章:MySQL基础入门 1.1 MySQL概述 介绍MySQL的历史、发展、优势以及应用领域
|
4月前
|
网络协议 关系型数据库 MySQL
【最佳实践】MySQL数据库迁移到PXC集群
借本次数据库迁移实践,再次总结一下MySQL数据库迁移到PXC的最佳操作路径。
86 0
|
5月前
|
缓存 关系型数据库 MySQL
MySQL数据库——InnoDB引擎-架构-内存结构(Buffer Pool、Change Buffer、Adaptive Hash Index、Log Buffer)
MySQL数据库——InnoDB引擎-架构-内存结构(Buffer Pool、Change Buffer、Adaptive Hash Index、Log Buffer)
96 3
|
5月前
|
存储 关系型数据库 MySQL
MySQL数据库——索引(2)-B+Tree、Hash结构,索引分类(聚集索引、二级索引)
MySQL数据库——索引(2)-B+Tree、Hash结构,索引分类(聚集索引、二级索引)
77 1
|
5月前
|
关系型数据库 MySQL 数据库
精通MySQL:数据库管理、性能优化与最佳实践
h3> 一、引言 MySQL是一个功能强大的开源关系型数据库管理系统,广泛应用于各种Web应用、企业级应用和数据分析等领域

相关产品

  • 云数据库 RDS MySQL 版
  • 云数据库 RDS
  • 下一篇
    无影云桌面