【巡检问题分析与最佳实践】RDS MySQL 实例空间问题

本文涉及的产品
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
云原生数据库 PolarDB 分布式版,标准版 2核8GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
简介: 实例的空间使用率是RDS MySQL用户日常需要重点关注的监控项之一。如果实例的存储空间完全打满,将会导致严重的影响,包括:数据库无法写入、数据库备份无法正常完成、存储空间扩容任务的执行耗时可能更长等。一般来说,当一个RDS MySQL实例的存储空间使用比例达到80-85%以上时,就应及时进行处理,要么降低数据库实际占用空间的大小,要么对存储空间进行扩容,以避免空间打满的风险。

查看空间使用情况

RDS控制台

RDS MySQL的控制台中提供了多种查看实例空间使用情况的方法:

基本信息

在RDS控制台的“基本信息”页中会显示实例的总存储空间使用大小,但这里只有当前的空间使用总量,没有具体的各类数据分别占用空间大小的信息,也没有空间使用的历史信息。

0.png

监控与报警

在RDS控制台的“监控与报警”页中的“标准监控”->“资源监控”下,可以查看实例的各类数据占用的磁盘空间大小的信息,并且会显示各部分空间大小的历史变化曲线。

1.png

其中磁盘空间总体使用量即对应当前实例实际已经使用了的所有存储空间总量,它由如下四个部分组成:

数据空间使用量 数据文件总大小。
日志空间使用量 日志文总大小
临时文件空间使用量 临时文件空间的大小
系统文件空间使用量

共享表空间等文件的大小


数据库自治服务

在RDS控制台的“自治服务”->“一键诊断”->“空间分析”页中可以查看实例内更详细的空间使用情况,包括数据与日志的空间使用对比、空间使用的历史变化趋势、Top数据库和Top表的空间分配明细等。

2.png3.png



这个列表中的统计,则是针对数据库中的表所使用的数据文件空间。其中“表空间”为“数据空间”、“索引空间”、“未使用空间”三部分之和,它们的具体含义如下:

保留大小 已保留给该表的所有空间总和,包括数据、索引及未使用的部分
数据空间 表中的数据使用的总空间
索引空间 表中的所有索引使用的总空间
未使用空间 已保留给该表但还未分配使用的空间

需要注意的是上面列表中的空间大小是从统计信息中采集的,和真实的空间大小可能会存在误差。


命令行如何查看表空间

执行SQL命令:show table status like 'table_name'

常见空间的问题

为什么空间大

索引太多

一般表上除了主键索引,还存在二级索引,二级索引越多,整个表空间越大,同时索引太多也会造成写入时IO吞吐会放大。

有大字段

如果表结构定义中有blob、text、很长的varchar等大字段,也会占用更大的表空间,建议将数据压缩以后再插入。

空闲表空间太多

这里指的是InnoDB表的碎片率高。InnoDB是按Page(16KB)管理表空间的,如果Page写满记录,然后部分记录又被delete sql删除,后续这些删除的记录位置又没有新的记录插入,就可能造成空间没有被很好的利用。可以通过SQL语句 show table status like 'table_name' 查看表上空闲的空间,如果空闲空间特别大,可以执行optimize table table_name语句整理表空间。

临时表空间或临时文件过大

semi join和distinct去重、不走索引的order by /group by等SQL,会使用临时表来做去重和排序分组,如果涉及的数据量特别大,可能导致临时表空间ibtmp1特别大。Select 是否会使用临时表可以explain查看执行计划,看是否包含 Using Temporary。


还有一种情况是DDL重建表空间时,如果表特别大,创建索引排序时产生的临时文件也会特别大。对于RDS 5.6和RDS 5.7不支持即时加字段,很多DDL是通过创建新表的实现的,DDL执行结束再删除老表,DDL过程中会同时存在2份表空间,所以对大表DDL需要注意实例的空间是否足够,否则空间不足会造成DDL失败。

空间优化方案

  1. 云盘会支持比本地盘实例更大的空间。
  2. PolarDB采用分布式存储也支持非常大的存储空间,且按需自动扩容。
  3. RDS 创建时选xengine引擎,xengine是支持高压缩比的存储引擎。
  4. 采用分析型数据库等。
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3月前
|
SQL 前端开发 关系型数据库
全表数据核对 ,行数据核对,列数据核对,Mysql 8.0 实例(sample database classicmodels _No.3 )
全表数据核对 ,行数据核对,列数据核对,Mysql 8.0 实例(sample database classicmodels _No.3 )
75 0
全表数据核对 ,行数据核对,列数据核对,Mysql 8.0 实例(sample database classicmodels _No.3 )
|
2月前
|
关系型数据库 MySQL 数据库
【赵渝强老师】启动与关闭MySQL数据库实例
MySQL数据库安装完成后,可以通过命令脚本启动、查看状态、配置开机自启、查看自启列表及关闭数据库。本文提供了详细的操作步骤和示例代码,并附有视频讲解。
|
3月前
|
存储 关系型数据库 MySQL
mysql 8.0 的 建表 和八种 建表引擎实例
mysql 8.0 的 建表 和八种 建表引擎实例
44 0
|
3月前
|
存储 关系型数据库 MySQL
Key_Value 形式 存储_5级省市城乡划分代码 (mysql 8.0 实例)
本文介绍了如何使用MySQL8.0数据库中的Key_Value形式存储全国统计用区划代码和城乡划分代码(5级),包括导入数据、通过数学函数提取省市区信息,以及查询5级行政区划的详细数据。
46 0
|
28天前
|
存储 Oracle 关系型数据库
数据库传奇:MySQL创世之父的两千金My、Maria
《数据库传奇:MySQL创世之父的两千金My、Maria》介绍了MySQL的发展历程及其分支MariaDB。MySQL由Michael Widenius等人于1994年创建,现归Oracle所有,广泛应用于阿里巴巴、腾讯等企业。2009年,Widenius因担心Oracle收购影响MySQL的开源性,创建了MariaDB,提供额外功能和改进。维基百科、Google等已逐步替换为MariaDB,以确保更好的性能和社区支持。掌握MariaDB作为备用方案,对未来发展至关重要。
56 3
|
28天前
|
安全 关系型数据库 MySQL
MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!
《MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!》介绍了MySQL中的三种关键日志:二进制日志(Binary Log)、重做日志(Redo Log)和撤销日志(Undo Log)。这些日志确保了数据库的ACID特性,即原子性、一致性、隔离性和持久性。Redo Log记录数据页的物理修改,保证事务持久性;Undo Log记录事务的逆操作,支持回滚和多版本并发控制(MVCC)。文章还详细对比了InnoDB和MyISAM存储引擎在事务支持、锁定机制、并发性等方面的差异,强调了InnoDB在高并发和事务处理中的优势。通过这些机制,MySQL能够在事务执行、崩溃和恢复过程中保持
66 3
|
28天前
|
SQL 关系型数据库 MySQL
数据库灾难应对:MySQL误删除数据的救赎之道,技巧get起来!之binlog
《数据库灾难应对:MySQL误删除数据的救赎之道,技巧get起来!之binlog》介绍了如何利用MySQL的二进制日志(Binlog)恢复误删除的数据。主要内容包括: 1. **启用二进制日志**:在`my.cnf`中配置`log-bin`并重启MySQL服务。 2. **查看二进制日志文件**:使用`SHOW VARIABLES LIKE 'log_%';`和`SHOW MASTER STATUS;`命令获取当前日志文件及位置。 3. **创建数据备份**:确保在恢复前已有备份,以防意外。 4. **导出二进制日志为SQL语句**:使用`mysqlbinlog`
86 2
|
1月前
|
关系型数据库 MySQL 数据库
Python处理数据库:MySQL与SQLite详解 | python小知识
本文详细介绍了如何使用Python操作MySQL和SQLite数据库,包括安装必要的库、连接数据库、执行增删改查等基本操作,适合初学者快速上手。
261 15
|
1月前
|
SQL 关系型数据库 MySQL
数据库数据恢复—Mysql数据库表记录丢失的数据恢复方案
Mysql数据库故障: Mysql数据库表记录丢失。 Mysql数据库故障表现: 1、Mysql数据库表中无任何数据或只有部分数据。 2、客户端无法查询到完整的信息。
|
1月前
|
关系型数据库 MySQL 数据库
数据库数据恢复—MYSQL数据库文件损坏的数据恢复案例
mysql数据库文件ibdata1、MYI、MYD损坏。 故障表现:1、数据库无法进行查询等操作;2、使用mysqlcheck和myisamchk无法修复数据库。

相关产品

  • 云数据库 RDS MySQL 版
  • 云数据库 RDS