“千万元”级别商机背后的数据库的技术支撑和优化

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 阿里云数据库针对这个客户“痛并快乐”的场景进行专项的优化,帮助我们的客户在任何秒杀场景“稳如泰山”。

_1

背景简介
阿里巴巴兴于电商,电商客户的需求和痛点对于我们自然也体会的比较深。秒杀这一场景最早来自天猫双11各种商品的促销活动中,发展到现在已经有很多业务场景在使用,比如抢红包,春运抢票等。这类的场景其特点有三高:瞬时并发高,数据一致性高,热点更新频度高。这样三高的场景下往往给客户数据库造成极大的压力,大量更新数据库中的同一行,这样必然会产生数据库锁等待,导致客户数据库的性能急剧下降的问题,很容易导致客户的业务雪崩。阿里云数据库针对这个客户“痛并快乐”的场景进行专项的优化,帮助我们的客户在任何秒杀场景“稳如泰山”。

在秒杀的业务场景中,数据库成为了底层系统中最重要的瓶颈点。某电商公司是阿里云的客户,在客户使用阿里云数据库之前,我们的客户只能用最原始的升级配置,降低锁等待时间等来解决这个场景所带来的烦恼,但是由于业务量级随着商业扩展而扩大,传统的解决办法越来越难以满足这类的场景。阿里云经过几年的沉淀也诞生了很多的技术手段来进行优化,帮助我们阿里云数据库的用户轻松度过秒杀场景,让赚钱的同时不再受技术瓶颈的煎熬。

阿里云的数据库工程师发现,当大量的并发更新同一条记录时(秒杀场景),使用排队的方式来保证高并发下热点记录更新在不影响业务的同时依然能保持较好的性能,为threads_running设置一个硬上限,当并发超过此值时,数据库将拒绝执行sql,保护MySQL,我们将这个称之为高水位限流。这样就给数据库加上了一层限流的功能,使得数据库不被瞬间的高爆发请求打爆。

高水位限流实现:

  监控系统status变量threads_running,当满足拒绝条件,拒绝执行sql,返回用户:MySQL Server is too busy,判断逻辑在dispatch_command中,sql解析之后。

增加的系统variables:

 1.threads_running_ctl_mode: 限流的sql类型,有两个取值:[ALL | SELECTS],默认SELECTS,设置为ALL需谨慎。
  2.threads_running_high_watermark: 限流水位值,只有threads_running超过此值才会触发,默认值为max_connections,当set global threads_running_high_watermark=0时自动设置为max_connections。

拒绝必要条件:

 1..threads_running超过threads_running_high_watermark。
 2..threads_running_ctl_mode与sql类型相符。

以下情况不拒绝:

 1.用户具有super权限。
 2.sql所在事务已经开启。
 3.sql为commit/rollback。

目前,阿里云的关系型数据库ApsaraDB RDS已经集成了这类秒杀场景下的参数优化,所以如果你的应用场景中具有大量并发更新同一行记录的场景,你可以打开数据库的限流参数:threads_running_ctl_mode和threads_running_high_watermark来保护数据库,让你的数据库平稳过渡。下面我们来看一则该电商某客户的生产环境的案例。
_2

从上图中看到该数据库的活跃连接数最高的时候到达了1W,通过show processlist可以看到大量的并发更新。

_3

我们来看一下数据库并发更新的TPS有多大:

_4

可以看到数据库中的活跃连接数非常高,每秒的update非常不稳定。
我们在把限流开关打开后看一下性能表现:
mysql> set global rds_threads_running_high_watermark=300;
Query OK, 0 rows affected (0.00 sec)

mysql> set global rds_threads_running_ctl_mode='all';
Query OK, 0 rows affected (0.00 sec)

_5

从上图可以明显的观察到,通过打开数据库的限流开关,数据库的活跃连接数在300左右,同时数据库的TPS也没有再出现很大的波动,这样很好的保护住了DB。
_6
_7

该电商用户自从使用了阿里云关系型数据库 ApsaraDB RDS,很好的解决了以往令人头疼的高并发问题场景,令该公司成功度过了几次双十一和大型促销,对其业务的增长和发展起到了至关重要的技术保障和支持。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
7天前
|
人工智能 物联网 大数据
解密时序数据库的未来:TDengine Open Day技术沙龙精彩回顾
在数字化时代,开源已成为推动技术创新和知识共享的核心力量,尤其在数据领域,开源技术的涌现不仅促进了行业的快速发展,也让更多的开发者和技术爱好者得以参与其中。随着物联网、工业互联网等技术的广泛应用,时序数据库的需求愈发强烈,开源的兴起更是为这一技术的创新与普及提供了强有力的支持。
17 3
|
18天前
|
存储 JSON NoSQL
学习 MongoDB:打开强大的数据库技术大门
MongoDB 是一个基于分布式文件存储的文档数据库,由 C++ 编写,旨在为 Web 应用提供可扩展的高性能数据存储解决方案。它与 MySQL 类似,但使用文档结构而非表结构。核心概念包括:数据库(Database)、集合(Collection)、文档(Document)和字段(Field)。MongoDB 使用 BSON 格式存储数据,支持多种数据类型,如字符串、整数、数组等,并通过二进制编码实现高效存储和传输。BSON 文档结构类似 JSON,但更紧凑,适合网络传输。
55 15
|
19天前
|
SQL Oracle 数据库
使用访问指导(SQL Access Advisor)优化数据库业务负载
本文介绍了Oracle的SQL访问指导(SQL Access Advisor)的应用场景及其使用方法。访问指导通过分析给定的工作负载,提供索引、物化视图和分区等方面的优化建议,帮助DBA提升数据库性能。具体步骤包括创建访问指导任务、创建工作负载、连接工作负载至访问指导、设置任务参数、运行访问指导、查看和应用优化建议。访问指导不仅针对单条SQL语句,还能综合考虑多条SQL语句的优化效果,为DBA提供全面的决策支持。
54 11
|
2月前
|
SQL 存储 BI
gbase 8a 数据库 SQL合并类优化——不同数据统计周期合并为一条SQL语句
gbase 8a 数据库 SQL合并类优化——不同数据统计周期合并为一条SQL语句
|
2月前
|
SQL 数据库
gbase 8a 数据库 SQL优化案例-关联顺序优化
gbase 8a 数据库 SQL优化案例-关联顺序优化
|
2月前
|
存储 NoSQL 分布式数据库
微服务架构下的数据库设计与优化策略####
本文深入探讨了在微服务架构下,如何进行高效的数据库设计与优化,以确保系统的可扩展性、低延迟与高并发处理能力。不同于传统单一数据库模式,微服务架构要求更细粒度的服务划分,这对数据库设计提出了新的挑战。本文将从数据库分片、复制、事务管理及性能调优等方面阐述最佳实践,旨在为开发者提供一套系统性的解决方案框架。 ####
|
2月前
|
存储 SQL 数据库
深入浅出后端开发之数据库优化实战
【10月更文挑战第35天】在软件开发的世界里,数据库性能直接关系到应用的响应速度和用户体验。本文将带你了解如何通过合理的索引设计、查询优化以及恰当的数据存储策略来提升数据库性能。我们将一起探索这些技巧背后的原理,并通过实际案例感受优化带来的显著效果。
58 4
|
2月前
|
SQL druid 数据库
如何进行数据库连接池的参数优化?
数据库连接池参数优化包括:1) 确定合适的初始连接数,考虑数据库规模和应用需求;2) 调整最大连接数,依据并发量和资源状况;3) 设置最小空闲连接数,平衡资源利用和响应速度;4) 优化连接超时时间,确保系统响应和资源利用合理;5) 配置连接有效性检测,定期检查连接状态;6) 调整空闲连接回收时间,适应访问模式并配合数据库超时设置。
|
2月前
|
SQL Oracle 关系型数据库
Oracle数据库优化方法
【10月更文挑战第25天】Oracle数据库优化方法
57 7
|
2月前
|
SQL 缓存 监控
数据库优化
【10月更文挑战第29天】数据库优化
49 1

热门文章

最新文章