RDS for MySQL 通过分区自动归档历史数据

简介: RDS for MySQL 通过分区归档历史数据 原始表 分区 用于分区维护的存储过程 每月调用存储过程的事件 随着数据的积累,数据量的增加,越来越多的表体积变的庞大,不但影响查询的执行时间,而且使得管理工作(比如添加删除索引)变的越发复杂和困难。本文介绍一个通过分区滑动来归档历史

RDS for MySQL 通过分区归档历史数据



随着数据的积累,数据量的增加,越来越多的表体积变的庞大,不但影响查询的执行时间,而且使得管理工作(比如添加删除索引)变的越发复杂和困难。

本文介绍一个通过分区滑动来归档历史数据(以便可以有效控制表的尺寸)的方法,仅供大家参考。


1. 原始表

未分区的原始表:order_history。

create table order_history
( 
	id              bigint unsigned auto_increment primary key,
	order_id        bigint unsigned not null,
	customer_id     bigint unsigned not null,
	goods_id        bigint unsigned not null,
	payment_id      bigint unsigned not null,
	details         text,
	comments        text,
	order_date      datetime not null,
	status          tinyint
);

 

2. 分区

MySQL 分区要求分区字段必须是主键或者唯一键的一部分,因此需要修改主键定义。

alter table order_history algorithm=inplace, lock=none, drop primary key, add primary key (id, order_date);

-- algorithm=inplace, lock=none 是 RDS for MySQL 5.6 支持的 online DDL 特性。
-- 如果要修改主键,删除主键和添加主键建议放在一条语句中,以便充分利用 5.6 版本的 Online DDL 特性。

alter table order_history partition by range columns (order_date) (
	partition p1606 values less than ('2016-07-01'),
	partition p1607 values less than ('2016-08-01'),
	partition p1608 values less than ('2016-09-01'),
	partition p1609 values less than ('2016-10-01'),
	partition p1610 values less than ('2016-11-01'),
	partition p1611 values less than ('2016-12-01'),
	partition p1612 values less than ('2017-01-01'),
	partition p0 values less than maxvalue
);

-- 将数据按月份分区

 3. 用于分区维护的存储过程

删除最久的一个月份分区,新建下个月份分区,总体保留最近 6 个月份的数据。

delimiter //
drop procedure sp_order_his_rotate//
create procedure sp_order_his_rotate ()
begin
       declare todrop_par varchar(10) default null;
       declare toadd_par varchar(10) default null;
       declare toadd_day varchar(10) default null;
       declare last_par varchar(10) default null;
       declare new_par varchar(10) default null;
       declare v_sql varchar(200) default null;
	   
       select date_format(date_sub(curdate(), interval 6 month), 'p%y%m') into todrop_par;
       select date_format(date_add(curdate(), interval 1 month), 'p%y%m') into toadd_par;
       select date_format(date_add(curdate()-day(curdate())+1,interval 2 month), '%Y-%m-%d') into toadd_day;
       select partition_name into last_par from information_schema.partitions 
	 where table_name = 'order_history' 
	 and table_schema = 'db_name' 
	 and partition_description != 'maxvalue' 
	 order by partition_description asc limit 1;
       if todrop_par = last_par then
       select concat('alter table order_history drop partition ',todrop_par,';') into v_sql;
	 set @v_sql=v_sql;
	 prepare stmt from @v_sql;
	 execute stmt;
	 deallocate prepare stmt;
       end if;
       select partition_name into new_par from information_schema.partitions 
         where table_name = 'order_history' 
         and table_schema = 'db_name' 
         and partition_description != 'maxvalue' 
	 order by partition_description desc limit 1;	
       if toadd_par != new_par then
       select concat('alter table order_history reorganize partition p0 into (partition ', toadd_par, ' values less than (''', toadd_day,'''), partition p0 values less than (maxvalue));') into v_sql;
	 set @v_sql=v_sql;
	 prepare stmt from @v_sql;
	 execute stmt;
	 deallocate prepare stmt;
       end if;
end;
//
delimiter ;

 

4. 每月调用存储过程的事件

每月月末 28 日调用分区管理存储过程,来自动维护分区。

drop event if exists order_his_rotate;
delimiter //
create event order_his_rotate
  on schedule every 1 month starts '2016-12-28 02:00:00'
  on completion preserve enable do
begin
  call sp_order_his_rotate();
end;
//
delimiter ;

 

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
3月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格:MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB,多种引擎优惠上线!MySQL倚天版88元/年,SQL Server 2核4G仅299元/年,PostgreSQL 227元/年起。高可用、可弹性伸缩,安全稳定。详情见官网活动页。
788 152
|
4月前
|
存储 SQL 关系型数据库
RDS DuckDB技术解析一:当 MySQL遇见列式存储引擎
RDS MySQL DuckDB分析实例以​列式存储与向量化计算​为核心,实现​复杂分析查询性能百倍跃升​,为企业在海量数据规模场景下提供​实时分析能力​,加速企业数据驱动型决策效能。​​
|
7月前
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
5月前
|
SQL 人工智能 关系型数据库
如何实现MySQL百万级数据的查询?
本文探讨了在MySQL中对百万级数据进行排序分页查询的优化策略。面对五百万条数据,传统的浅分页和深分页查询效率较低,尤其深分页因偏移量大导致性能显著下降。通过为排序字段添加索引、使用联合索引、手动回表等方法,有效提升了查询速度。最终建议根据业务需求选择合适方案:浅分页可加单列索引,深分页推荐联合索引或子查询优化,同时结合前端传递最后一条数据ID的方式实现高效翻页。
304 0
|
2月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
487 5
|
4月前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
382 10
|
3月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎,提供高性价比、稳定安全的云数据库服务,适用于多种行业与业务场景。
|
3月前
|
关系型数据库 MySQL 数据库
云时代MySQL:RDS与自建数据库的抉择
在云计算时代,选择合适的数据库部署方案至关重要。本文深入对比了AWS RDS与自建MySQL的优劣,帮助您在控制权、运维成本和业务敏捷性之间找到最佳平衡点。内容涵盖核心概念、功能特性、成本模型、安全性、性能优化、高可用方案及迁移策略,为您提供全面的决策参考。
|
5月前
|
关系型数据库 MySQL 索引
mysql中的索引和分区
在MySQL中,索引和分区是提高查询效率的关键技术。通过创建合适的索引,可以显著提升数据检索速度。而分区可以作为作为进一步提高查询效率的方式,在较大数据量时通常可以使用这两个结合的方式优化查询速度,所以这边将这两个进行整理,巩固个人知识,同时也希望帮助到有需要的朋友。
143 2
|
4月前
|
关系型数据库 MySQL 程序员
从自建MySQL到阿里云RDS:程序员的数据库减负革命
如果你正在为自建MySQL数据库的高成本运维发愁,为凌晨三点的主从同步故障告警而崩溃,为开发团队频繁索要新测试库的要求感到窒息——是时候开启一场数据库的自我救赎了。 程序员更需构建"技术敏锐度+工程落地能力+跨域协作"的三维竞争力,通过创建技术组合形成差异化优势。企业应建立持续学习机制,提供AI沙盒环境促进技术转化。

推荐镜像

更多