GreatSQL MGR优化参考

简介: GreatSQL MGR优化参考

0. 前言

1. GreatSQL的优势

GreatSQL的优势在于提升了MGR的性能及可靠性,及修复了众多bug。主要有以下几点:

  • 提升大事务并发性能及稳定性
  • 优化MGR队列garbage collect机制、改进流控算法,以及减少每次发送数据量,避免性能抖动
  • 解决了AFTER模式下,存在节点加入集群时容易出错的问题
  • 在AFTER模式下,强一致性采用多数派原则,以适应网络分区的场景
  • 当MGR节点崩溃时,能更快发现节点异常状态,有效减少切主和异常节点的等待时间
  • 修复了可能导致数据丢失、性能抖动等多个缺陷/bug问题

2. GreatSQL MGR优化建议

为了能更好的发挥出GreatSQL运行MGR的优势,有几个优化建议

2.1 关闭流控

GreatSQL MGR相较于官方版本,在从库回放速度控制方面做得更优雅、更完善。因此,建议直接在事务并发量不是太高的场景下,关闭流控模式,让GreatSQL发挥出更大性能优势。

# QUOTA => 开启流控(默认)
# DISABLED => 关闭流控
group_replication_flow_control_mode = "DISABLED"

通常来说,不建议开启流控。当然了,如果实际生产环境中,已经快达到了服务器的硬件性能极限,这种情况下,还是要开启流控的,只不过可以把默认的流控阈值调高一些,比如设置为原来的10倍或更高。此外,在正式上线前的压测环境下,也最好关闭流控,通过压测得到事务性能指标和服务器性能的一个平衡点。这就类似另一个参数 innodb_thread_concurrency,通常也不建议设置为非0,以避免在高并发场景下,InnoDB线程总是要等待排队,反倒影响并发性能。

2.1 修改从库回放并发度

为了提高MGR从库的回放效率,降低从库延迟,需要提高从库回放线程数。

slave_parallel_type = LOGICAL_CLOCK
slave_parallel_workers = 128 #回放线程数可以设置为逻辑CPU的4倍甚至更高

通常来说,不建议开启流控。当然了,如果实际生产环境中,已经快达到了服务器的硬件性能极限,这种情况下,还是要开启流控的,只不过可以把默认的流控阈值调高一些,比如设置为原来的10倍或更高。此外,在正式上线前的压测环境下,也最好关闭流控,通过压测得到事务性能指标和服务器性能的一个平衡点。这就类似另一个参数 innodb_thread_concurrency,通常也不建议设置为非0,以避免在高并发场景下,InnoDB线程总是要等待排队,反倒影响并发性能。

2.1 修改从库回放并发度

为了提高MGR从库的回放效率,降低从库延迟,需要提高从库回放线程数。

slave_parallel_type = LOGICAL_CLOCK
slave_parallel_workers = 128 #回放线程数可以设置为逻辑CPU的4倍甚至更高

剩下的就是正常的MySQL优化套路了,下面是几个关键参数列表,建议根据硬件配置级别适当调整:

innodb_buffer_pool_size = 128G
innodb_buffer_pool_instances = 8
innodb_log_file_size = 2G
innodb_log_files_in_group = 3
innodb_io_capacity = 20000
innodb_io_capacity_max = 40000
innodb_flush_sync = OFF

此外,也强烈建议采用 jemalloc 代替系统自带的内存分配机制。

最后放一张在大流量、高负载的业务场景下的压测对比图,充分体现了GreatSQL的优势(由不愿透露姓名的社区朋友提供)

image.png

我们再次诚邀更多的朋友们一起使用GreatSQL,更放心的用上MGR,提高数据库服务可用时间,保证业务可靠性。

3. 关于GreatSQL

GreatSQL是源于Percona server的分支版本,除了Percona Server已有的稳定可靠、高效、管理更方便等优势外,特别是进一步提升了MGR(MySQL Group Replication)的性能及可靠性,以及众多bug修复。

GreatSQL可以作为MySQL或Percona server的可选替代方案,用于线上生产环境。

相关文章
|
资源调度 负载均衡 监控
PD在TiDB集群中的角色
【2月更文挑战第28天】PD是TiDB集群的核心组件,负责元数据管理、资源调度、负载均衡和故障恢复。它保证元数据一致性,智能调度数据以实现负载均衡,快速响应故障恢复,同时提供集群监控和告警功能,确保TiDB的高性能、高可用性和稳定性。随着技术进步,PD将持续优化,提升数据库服务体验。
|
安全 网络安全 网络架构
计算机网络地址转换(NAT)
网络地址转换(NAT)允许多个主机共享一个或一组公共IP地址,同时保护内部网络的隐私和安全。NAT通常由路由器或防火墙设备执行,它充当内部网络和外部网络之间的中间人,将内部主机的私有IP地址映射到一个或多个公共IP地址上。
373 0
|
存储 机器学习/深度学习 并行计算
一文说清IPython:新手入门指南与实用技巧
一文说清IPython:新手入门指南与实用技巧
523 0
|
SQL 关系型数据库 MySQL
|
缓存 运维 关系型数据库
数据库容灾 | MySQL MGR与阿里云PolarDB-X Paxos的深度对比
经过深入的技术剖析与性能对比,PolarDB-X DN凭借其自研的X-Paxos协议和一系列优化设计,在性能、正确性、可用性及资源开销等方面展现出对MySQL MGR的多项优势,但MGR在MySQL生态体系内也占据重要地位,但需要考虑备库宕机抖动、跨机房容灾性能波动、稳定性等各种情况,因此如果想用好MGR,必须配备专业的技术和运维团队的支持。 在面对大规模、高并发、高可用性需求时,PolarDB-X存储引擎以其独特的技术优势和优异的性能表现,相比于MGR在开箱即用的场景下,PolarDB-X基于DN的集中式(标准版)在功能和性能都做到了很好的平衡,成为了极具竞争力的数据库解决方案。
|
监控 Ubuntu Linux
在Linux中,如何使用top和htop命令?
在Linux中,如何使用top和htop命令?
|
SQL Kubernetes Cloud Native
云原生数据库PolarDB分布式版(PolarDB-X)原理导读
由于PolarDB-X相关文档比较丰富,知识点分布广泛,因此我专门整理一篇导读文章帮助大家更有节奏有方向的学习。本文所推荐文章会按照由浅入深的顺序,并且每个知识点前都会进行提问,大家可以带着问题进入章节学习。最后希望大家都能领会到分布式数据库的魅力。
|
SQL 关系型数据库 MySQL
MySQL 中启用大页(Huge Pages)提高性能
在 MySQL 中启用大页(Huge Pages)可以提高性能,还可以减少内存的使用。大页能够减少操作系统的页表,由此可减轻 CPU 负担和内存空间,从而减少了内存管理开销。下面是在 Linux 系统中启用 MySQL 大页的步骤: 1. 配置 Linux 系统大页:在物理或虚拟机上启用大页,请使用以下命令后设置了足够的大页: ```shell echo 2048 > /proc/sys/vm/nr_hugepages ``` 此处示例启用了 2048 个大页。请注意,此操作需要 root 用户权限。 2. 通过运行下列命令可检查您的系统是否已经启用了大页: ```shell gre
1300 0
|
存储 机器学习/深度学习 算法
一文带你了解MySQL之InnoDB统计数据是如何收集的
我们前边唠叨查询成本的时候经常用到一些统计数据,比如通过show table status可以看到关于表的统计数据,通过show index可以看到关于索引的统计数据,那么这些统计数据是怎么来的呢?它们是以什么方式收集的呢?本章将聚焦于InnoDB存储引擎的统计数据收集策略,看完本章后家就会明白为啥前边老说InnoDB的统计信息是不精确的估计值了
918 0
|
缓存 关系型数据库 MySQL
【MySQL】read_buffer_size=512kb,是干什么的?底层原理是什么?
【MySQL】read_buffer_size=512kb,是干什么的?底层原理是什么?
776 0