最佳实践—如何支持热点更新场景

简介: 背景介绍 数据库中更新的模式为lock -> update -> unlock,当对数据库中的同一条记录有大量修改请求时,会造成大量的锁争抢与锁等待。请求量增加会导致TPS下降,延迟飙升。例如,秒杀场景中对于商品库存的扣减。 您可以选择在数据库内核中进行批处理,即对该条记录进行的更新操作使用组提交,更新的模式更改为lock-> group update -> unlock,从而减少锁争抢。结合流水线处理等优化,可以大大提高该场景的TPS,详情可见测试结果。

使用方法

  1. 开启hotspot相关功能。在控制台的参数设置页面打开以下两个开关项,或者使用set global命令(非必须情况不建议使用set global指令)。
set global hotspot=on;
set global hotspot_lock_type=on
  1. 切换事务类型为XA,并在业务的update语句中添加inventory hint。
begin;

set drds_transaction_policy=xa; // 若默认事务策略是XA,则无须重复设置,否则每次均需设置事务策略为XA以使用热点更新hint
UPDATE /+ commit_on_success rollback_on_fail target_affect_row(number)/ table_reference
SET assignment_list
[WHERE where_condition];

注意事项

  • where条件应为主键更新或唯一键更新,且不支持带有全局索引的表(可包含本地索引)。
  • 若已开启共享read_view,则应当先将共享read_view进行关闭,而后使用热点更新的能力。
  • 热点更新hint的使用场景为单分片事务,无法在跨库场景中使用。

Inventory Hint各参数含义

  • commit_on_success(必选)如果该语句成功,则进行提交,连同该语句之前的未提交语句一并提交。
  • rollback_on_fail如果该语句失败,则进行回滚,连同该语句之前的未提交语句一并回滚。
  • target_affect_row(number)校验更新的行数是否符合预期,若不符合则更新失败。

示例

  • 添加commit_on_success以使用组提交等针对热点更新场景的优化(id为主键,使用如下语句对id=1的记录进行更新时,若更新成功则自动提交)
begin;
set drds_transaction_policy=xa;
UPDATE /+ commit_on_success/ table_test SET c = c - 1 WHERE id = 1;
  • 使用rollback_on_fail,可使得更新失败时自动进行回滚
begin;
set drds_transaction_policy=xa;
UPDATE /+ commit_on_success rollback_on_fail/ table_test SET c = c - 1 WHERE id = 1;
  • 使用target_affect_row(number),使得该update语句的预期更新行数为number,若不为number,则更新失败
begin;
set drds_transaction_policy=xa;
UPDATE /+ commit_on_success rollback_on_fail target_affect_row(1)/ table_test SET c = c - 1 WHERE id = 1;
  • 在带有热点更新hint的update语句前,可对同一个物理库中的表进行DML操作
begin;
set drds_transaction_policy=xa;
INSERT into table_test_2 values (1,1);
UPDATE /+ commit_on_success rollback_on_fail target_affect_row(1)/ table_test SET c = c - 1 WHERE id = 1;
  • 在带有热点更新hint的update语句后继续进行DML操作,原因是其后的语句会重新开启新的事务(非必须情况下不推荐)
begin;
set drds_transaction_policy=xa;
UPDATE /+ commit_on_success rollback_on_fail target_affect_row(1)/ table_test SET c = c - 1 WHERE id = 1;
INSERT into table_test_2 values (1,1); // 不推荐,因为该条sql会重新开启一个新的事务

查看inventory hint是否生效

  • 使用命令show global status like "%Group_update%"查看组提交状态,Group_update_leader_count一直增加则说明触发了热点组提交的优化逻辑。
mysql> show global status like "%Group_update%";
+---------------------------------------+--------+
| Variable_name | Value |
+---------------------------------------+--------+
| Group_update_fail_count | 54 |
| Group_update_follower_count | 962869 |
| Group_update_free_count | 2 |
| Group_update_group_same_count | 0 |
| Group_update_gu_leak_count | 0 |
| Group_update_ignore_count | 0 |
| Group_update_insert_dup | 0 |
| Group_update_leader_count | 168292 |
| Group_update_lock_fail_count | 0 |
| Group_update_mgr_recycle_queue_length | 0 |
| Group_update_recycle_queue_length | 0 |
| Group_update_reuse_count | 23329 |
| Group_update_total_count | 2 |
+---------------------------------------+--------+
13 rows in set (0.01 sec)
  • 使用show physical full processlist查看update的状态,是否出现hotspot字样
mysql> show physical full processlist where command != 'Sleep';
+-------+------+-----+---------+-------------+---------+------+-------------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Group | Atom | Id | User | db | Command | Time | State | Info |
+-------+------+-----+---------+-------------+---------+------+-------------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 0 | 0 | 56 | diamond | test_000001 | Query | 0 | hotspot wait for commit | /DRDS /127.0.0.1/12e774cab8800000-128/0// /UPDATE /+COMMIT_ON_SUCCESS ROLLBACK_ON_FAIL TARGET_AFFECT_ROW(1) / `test_hotline_lZTr` AS `test_hotline` SET `b` = (`b` + 1) WHERE (`a` = 1) |
| 0 | 0 | 822 | diamond | test_000001 | Query | 0 | query end | /DRDS /127.0.0.1/12e774c4e9400000-563/0// /UPDATE /+COMMIT_ON_SUCCESS ROLLBACK_ON_FAIL TARGET_AFFECT_ROW(1) / `test_hotline_lZTr` AS `test_hotline` SET `b` = (`b` + 1) WHERE (`a` = 1) |
| 0 | 0 | 831 | diamond | test_000001 | Query | 0 | hotspot wait for commit | /DRDS /127.0.0.1/12e774c551000000-509/0// /UPDATE /+COMMIT_ON_SUCCESS ROLLBACK_ON_FAIL TARGET_AFFECT_ROW(1) / `test_hotline_lZTr` AS `test_hotline` SET `b` = (`b` + 1) WHERE (`a` = 1) |
| 0 | 0 | 838 | diamond | test_000000 | Query | 0 | starting | show full processlist |
+-------+------+-----+---------+-------------+---------+------+-------------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
4 rows in set (0.33 sec)

热点更新测试

测试表定义


CREATE TABLE sbtest(id INT UNSIGNED NOT NULL PRIMARY KEY, c BIGINT UNSIGNED NOT NULL);

测试语句


UPDATE /+ COMMIT_ON_SUCCESS ROLLBACK_ON_FAIL TARGET_AFFECT_ROW(1) / sbtest SET c=c+1 WHERE id = 1;

测试工具

sysbench

机器规格

4C8G×2 (两节点)

测试结果

场景 1线程 4线程 8线程 16线程 32线程 64线程 128线程 256线程 512线程
热点更新 298 986 1872 3472 6315 10138 13714 15803 23262
普通更新 318 423 409 409 412 428 448 497 615
  • 以上结果的单位为TPS,即每秒处理的交易数(Transaction per second)
  • 热点更新的TPS与机器规格、并发请求数、更新语句有关,测试结果仅供参考
相关文章
您可以使用验证集来评估微调后的模型效果
【1月更文挑战第16天】【1月更文挑战第78篇】您可以使用验证集来评估微调后的模型效果
420 6
|
6天前
|
消息中间件 人工智能 NoSQL
AgentScope x RocketMQ:打造企业级高可靠 A2A 智能体通信基座
基于 RocketMQ SDK 实现了 A2A 协议的 ClientTransport 接口(部分核心代码现已开源),并与 AgentScope 框架深度集成,共同构建了全新的 A2A 智能体通信基座,为多智能体应用提供企业级、高可靠的异步协同方案。
135 13
|
数据库
面向失败的设计-Planning for failure
这篇文章,将会介绍如何把结构化状况以及应对方式,从而得以以系统地方式沉淀积累,成为可复用的预案;最后,文章会结合阿里巴巴10年大促的实践,给出实践预案的原则性建议。
1976 0
|
1月前
|
消息中间件 存储 人工智能
官宣上线!RocketMQ for AI:企业级 AI 应用异步通信首选方案
RocketMQ 专门为 AI 场景推出了全新Lite Topic 模型,目前已在阿里云云消息队列 RocketMQ 版 5.x 系列实例上正式发布,并会逐步贡献到 Apache RocketMQ 开源社区,欢迎大家使用。
210 20
|
1月前
|
消息中间件 人工智能 Apache
Apache RocketMQ × AI:面向 Multi-Agent 的事件驱动架构
本文介绍基于Apache RocketMQ新特性构建异步化Multi-Agent系统的技术实践,涵盖Agent能力发现、语义化Topic、Lite-Topic动态回调等机制,实现任务闭环与高效协同,推动Agentic AI从静态流程迈向自主协作。
135 8
Apache RocketMQ × AI:面向 Multi-Agent 的事件驱动架构
|
1月前
|
消息中间件 人工智能 Apache
Apache RocketMQ × AI:面向 Multi-Agent 的事件驱动架构
本文介绍基于Apache RocketMQ构建异步化Multi-Agent系统的新架构,通过语义化Topic实现Agent能力发现,利用Lite-Topic支持轻量级异步通信与结果反馈,结合InterestSet+ReadySet事件驱动模型,高效支撑任务闭环、状态恢复与动态编排,为Agentic AI提供高扩展、低延迟的协同机制。
|
缓存 Nacos 微服务
Nacos2.2.3版本,微服务注册上去了,然后关闭,注册实例还是显示健康,一直在那,要等大概一小时以后才消失
Nacos2.2.3版本,微服务注册上去了,然后关闭,注册实例还是显示健康,一直在那,要等大概一小时以后才消失,怎么解决?
1000 1
|
存储 数据采集 Java
Spring Boot 3 实现GZIP压缩优化:显著减少接口流量消耗!
在Web开发过程中,随着应用规模的扩大和用户量的增长,接口流量的消耗成为了一个不容忽视的问题。为了提升应用的性能和用户体验,减少带宽占用,数据压缩成为了一个重要的优化手段。在Spring Boot 3中,通过集成GZIP压缩技术,我们可以显著减少接口流量的消耗,从而优化应用的性能。本文将详细介绍如何在Spring Boot 3中实现GZIP压缩优化。
1796 6
|
SQL 监控 druid
MySQL连接池DataSource怎样使用?
**摘要:** 本文深入讨论了数据库连接池的重要性,特别是DruidDataSource,它是阿里巴巴的高性能Java数据库连接池。DruidDataSource不仅提供连接管理,还包括SQL监控和性能优化功能。文中通过代码示例展示了如何配置和使用DruidDataSource,包括在Java应用和Spring Boot中的集成,并提到了SQL执行监控和连接池参数的合理设置,强调了定期监控和使用内置监控工具以优化应用性能。
370 2
MySQL连接池DataSource怎样使用?
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之如何直接导出excel文件
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
266 1