最佳实践—如何支持热点更新场景

简介: 背景介绍 数据库中更新的模式为lock -> update -> unlock,当对数据库中的同一条记录有大量修改请求时,会造成大量的锁争抢与锁等待。请求量增加会导致TPS下降,延迟飙升。例如,秒杀场景中对于商品库存的扣减。 您可以选择在数据库内核中进行批处理,即对该条记录进行的更新操作使用组提交,更新的模式更改为lock-> group update -> unlock,从而减少锁争抢。结合流水线处理等优化,可以大大提高该场景的TPS,详情可见测试结果。

使用方法

  1. 开启hotspot相关功能。在控制台的参数设置页面打开以下两个开关项,或者使用set global命令(非必须情况不建议使用set global指令)。
set global hotspot=on;
set global hotspot_lock_type=on
  1. 切换事务类型为XA,并在业务的update语句中添加inventory hint。
begin;

set drds_transaction_policy=xa; // 若默认事务策略是XA,则无须重复设置,否则每次均需设置事务策略为XA以使用热点更新hint
UPDATE /+ commit_on_success rollback_on_fail target_affect_row(number)/ table_reference
SET assignment_list
[WHERE where_condition];

注意事项

  • where条件应为主键更新或唯一键更新,且不支持带有全局索引的表(可包含本地索引)。
  • 若已开启共享read_view,则应当先将共享read_view进行关闭,而后使用热点更新的能力。
  • 热点更新hint的使用场景为单分片事务,无法在跨库场景中使用。

Inventory Hint各参数含义

  • commit_on_success(必选)如果该语句成功,则进行提交,连同该语句之前的未提交语句一并提交。
  • rollback_on_fail如果该语句失败,则进行回滚,连同该语句之前的未提交语句一并回滚。
  • target_affect_row(number)校验更新的行数是否符合预期,若不符合则更新失败。

示例

  • 添加commit_on_success以使用组提交等针对热点更新场景的优化(id为主键,使用如下语句对id=1的记录进行更新时,若更新成功则自动提交)
begin;
set drds_transaction_policy=xa;
UPDATE /+ commit_on_success/ table_test SET c = c - 1 WHERE id = 1;
  • 使用rollback_on_fail,可使得更新失败时自动进行回滚
begin;
set drds_transaction_policy=xa;
UPDATE /+ commit_on_success rollback_on_fail/ table_test SET c = c - 1 WHERE id = 1;
  • 使用target_affect_row(number),使得该update语句的预期更新行数为number,若不为number,则更新失败
begin;
set drds_transaction_policy=xa;
UPDATE /+ commit_on_success rollback_on_fail target_affect_row(1)/ table_test SET c = c - 1 WHERE id = 1;
  • 在带有热点更新hint的update语句前,可对同一个物理库中的表进行DML操作
begin;
set drds_transaction_policy=xa;
INSERT into table_test_2 values (1,1);
UPDATE /+ commit_on_success rollback_on_fail target_affect_row(1)/ table_test SET c = c - 1 WHERE id = 1;
  • 在带有热点更新hint的update语句后继续进行DML操作,原因是其后的语句会重新开启新的事务(非必须情况下不推荐)
begin;
set drds_transaction_policy=xa;
UPDATE /+ commit_on_success rollback_on_fail target_affect_row(1)/ table_test SET c = c - 1 WHERE id = 1;
INSERT into table_test_2 values (1,1); // 不推荐,因为该条sql会重新开启一个新的事务

查看inventory hint是否生效

  • 使用命令show global status like "%Group_update%"查看组提交状态,Group_update_leader_count一直增加则说明触发了热点组提交的优化逻辑。
mysql> show global status like "%Group_update%";
+---------------------------------------+--------+
| Variable_name | Value |
+---------------------------------------+--------+
| Group_update_fail_count | 54 |
| Group_update_follower_count | 962869 |
| Group_update_free_count | 2 |
| Group_update_group_same_count | 0 |
| Group_update_gu_leak_count | 0 |
| Group_update_ignore_count | 0 |
| Group_update_insert_dup | 0 |
| Group_update_leader_count | 168292 |
| Group_update_lock_fail_count | 0 |
| Group_update_mgr_recycle_queue_length | 0 |
| Group_update_recycle_queue_length | 0 |
| Group_update_reuse_count | 23329 |
| Group_update_total_count | 2 |
+---------------------------------------+--------+
13 rows in set (0.01 sec)
  • 使用show physical full processlist查看update的状态,是否出现hotspot字样
mysql> show physical full processlist where command != 'Sleep';
+-------+------+-----+---------+-------------+---------+------+-------------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Group | Atom | Id | User | db | Command | Time | State | Info |
+-------+------+-----+---------+-------------+---------+------+-------------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 0 | 0 | 56 | diamond | test_000001 | Query | 0 | hotspot wait for commit | /DRDS /127.0.0.1/12e774cab8800000-128/0// /UPDATE /+COMMIT_ON_SUCCESS ROLLBACK_ON_FAIL TARGET_AFFECT_ROW(1) / `test_hotline_lZTr` AS `test_hotline` SET `b` = (`b` + 1) WHERE (`a` = 1) |
| 0 | 0 | 822 | diamond | test_000001 | Query | 0 | query end | /DRDS /127.0.0.1/12e774c4e9400000-563/0// /UPDATE /+COMMIT_ON_SUCCESS ROLLBACK_ON_FAIL TARGET_AFFECT_ROW(1) / `test_hotline_lZTr` AS `test_hotline` SET `b` = (`b` + 1) WHERE (`a` = 1) |
| 0 | 0 | 831 | diamond | test_000001 | Query | 0 | hotspot wait for commit | /DRDS /127.0.0.1/12e774c551000000-509/0// /UPDATE /+COMMIT_ON_SUCCESS ROLLBACK_ON_FAIL TARGET_AFFECT_ROW(1) / `test_hotline_lZTr` AS `test_hotline` SET `b` = (`b` + 1) WHERE (`a` = 1) |
| 0 | 0 | 838 | diamond | test_000000 | Query | 0 | starting | show full processlist |
+-------+------+-----+---------+-------------+---------+------+-------------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
4 rows in set (0.33 sec)

热点更新测试

测试表定义


CREATE TABLE sbtest(id INT UNSIGNED NOT NULL PRIMARY KEY, c BIGINT UNSIGNED NOT NULL);

测试语句


UPDATE /+ COMMIT_ON_SUCCESS ROLLBACK_ON_FAIL TARGET_AFFECT_ROW(1) / sbtest SET c=c+1 WHERE id = 1;

测试工具

sysbench

机器规格

4C8G×2 (两节点)

测试结果

场景 1线程 4线程 8线程 16线程 32线程 64线程 128线程 256线程 512线程
热点更新 298 986 1872 3472 6315 10138 13714 15803 23262
普通更新 318 423 409 409 412 428 448 497 615
  • 以上结果的单位为TPS,即每秒处理的交易数(Transaction per second)
  • 热点更新的TPS与机器规格、并发请求数、更新语句有关,测试结果仅供参考
相关文章
|
搜索推荐 Android开发 iOS开发
安卓与iOS系统的用户界面设计对比分析
本文通过对安卓和iOS两大操作系统的用户界面设计进行对比分析,探讨它们在设计理念、交互方式、视觉风格等方面的差异及各自特点,旨在帮助读者更好地理解和评估不同系统的用户体验。
881 1
|
人工智能 物联网 UED
自修复材料:未来材料的自我修复能力
【10月更文挑战第14天】自修复材料作为未来材料的重要发展方向之一,以其独特的自我修复能力,正逐步改变着我们的生活和工作方式。通过深入了解其原理、分类、创新性研究及应用前景,我们可以更加清晰地看到自修复材料在推动社会进步和科技创新中的重要作用。让我们共同期待自修复材料在未来带来的更多惊喜和变革!
|
C# 前端开发
WPF - 图形设计器(Diagram Designer)
原文:WPF - 图形设计器(Diagram Designer)   OpenExpressApp计划中包括建模工具,计划是采用MetaEdit+模型来作为元模型,使用codeproject的《WPF Diagram Designer》一系列文章来做为设计器实现参考,本篇介绍一下codeprojcet的这四个文章,推荐给对图形设计器感兴趣的人去看看,通过WPF的模板功能和其他功能可以很方便的设计出图形编辑器。
3930 0
|
11月前
|
SQL 缓存 PHP
PHP框架详解 - symfony框架
Symfony框架凭借其灵活性、高性能和强大的社区支持,成为PHP开发领域的重要工具。无论是初学者还是资深开发者,都可以通过Symfony快速构建高质量的Web应用程序。通过深入理解Symfony的核心组件和最佳实践,开发者可以充分发挥其优势,提升开发效率和代码质量。
249 24
|
机器学习/深度学习 自然语言处理 并行计算
小白总结Transformer模型要点(一)(上)
本文主要总结了Transformer模型的要点,包含模型架构各部分组成和原理、常见问题汇总、模型具体实现和相关拓展学习。
小白总结Transformer模型要点(一)(上)
|
弹性计算 Linux 网络安全
基于阿里云ECS配置树莓派frp内网穿透
基于阿里云ECS配置树莓派frp内网穿透
|
存储 内存技术
Flutter - 这么炫酷的App你见过吗😍?
就是想做一个真正喜欢的APP而非demo!!!这是一个花了半年业余时间做的一款习惯打卡APP,吸取了市面上很多产品经验。
|
存储 芯片
NE555 & 工作模式介绍
NE555 是由于 1971年 由 西格妮蒂克公司(Signetics Corporation)推出的时基基层电路,常被用于定时器、脉冲发生器以及震荡电路等。 NE555的优点:NE555
1025 0
NE555 & 工作模式介绍
|
人工智能 自动驾驶 物联网
高通下一代旗舰骁龙865正式发布:外挂「真5G」,小米10将首发
今日凌晨,高通发布骁龙 865 旗舰芯片,通过外挂二代 5G 模组的方式支持 5G,同时率先支持了毫米波通信方式。与此同时,高通还发布了中高端芯片骁龙 765 系列,后者内置 5G 基带。
569 0
高通下一代旗舰骁龙865正式发布:外挂「真5G」,小米10将首发
|
开发者 iOS开发
iOS开发之DeviceCheck框架的应用
iOS开发之DeviceCheck框架的应用
1090 0
iOS开发之DeviceCheck框架的应用