【笔记】开发指南—Replication

本文涉及的产品
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介: 特性 兼容MySQL Binlog文件格式和Dump协议。PolarDB-X的全局Binlog是在DN节点的物理Binlog基础之上生成的,剔除了分布式事务的细节,只保留了单机事务的特性。同时,全局Binlog兼容MySQL Binlog文件格式,在数据订阅方式上也完全兼容MySQL Dump协议,您可以像使用单机MySQL一样来订阅PolarDB-X的事务日志。

特性

  • 兼容MySQL Binlog文件格式和Dump协议。PolarDB-X的全局Binlog是在DN节点的物理Binlog基础之上生成的,剔除了分布式事务的细节,只保留了单机事务的特性。同时,全局Binlog兼容MySQL Binlog文件格式,在数据订阅方式上也完全兼容MySQL Dump协议,您可以像使用单机MySQL一样来订阅PolarDB-X的事务日志。
  • 保证分布式事务的完整性和有序性。全局Binlog不是将物理Binlog简单地汇总到一起,而是通过合并模块和归并模块保证了分布式事务的完整性和有序性,从而实现高数据一致性。例如,在转账场景下,基于全局Binlog能力,接入PolarDB-X的下游MySQL,可以在任何时刻查询到一致的余额。
  • 提供7x24小时服务能力,运维简单。全局Binlog剔除了PolarDB-X的内部细节(此时您可以将PolarDB-X看作一个单机MySQL), 来避免实例内部发生的变化对数据订阅链路的影响。PolarDB-X通过一系列的协议和算法来保证全局Binlog的服务能力,确保实例内部发生的各种变更(如HA切换、增删节点、执行Scale Out或分布式DDL等操作)不会影响数据订阅链路的正常工作。

使用限制

  • 暂不支持Gtid(Global Transaction Identifier)模式下的数据订阅方式。
  • 仅当事务策略指定为TSO时(即更高强度的一致性保证),才支持对分布式事务的合并。

数据订阅源端支持的SQL语句

  • 查看PolarDB-X全局Binlog文件列表。
SHOW BINARY LOGS

  • 说明 执行上述SQL语句需要有SUPER或REPLICATION CLIENT权限。权限操作请参见账号和权限系统

查看PolarDB-X作为主Master角色的Binlog信息。
SHOW MASTER STATUS

  • 说明 执行上述SQL语句需要有SUPER或REPLICATION CLIENT权限。权限操作请参见账号和权限系统
  • 查看全局Binlog文件中的具体事件信息。
SHOW BINLOG EVENTS
[IN 'log_name']
[FROM pos]
[LIMIT [offset,] row_count]

  • 说明 执行上述SQL语句需要有SUPER或REPLICATION CLIENT权限。权限操作请参见账号和权限系统

数据订阅目标端支持的SQL语句

如果数据订阅目标端是标准MySQL,目前支持MySQL的Replicate指令。

  • 在数据订阅目标端设置需要同步的源端数据源信息。
CHANGE MASTER TO option [, option] ... [ channel_option ]
option: {
MASTER_BIND = 'interface_name'
| MASTER_HOST = 'host_name'
| MASTER_USER = 'user_name'
| MASTER_PASSWORD = 'password'
| MASTER_PORT = port_num
| PRIVILEGE_CHECKS_USER = {'account' | NULL}
| REQUIRE_ROW_FORMAT = {0|1}
| REQUIRE_TABLE_PRIMARY_KEY_CHECK = {STREAM | ON | OFF}
| ASSIGN_GTIDS_TO_ANONYMOUS_TRANSACTIONS = {OFF | LOCAL | uuid}
| MASTER_LOG_FILE = 'source_log_name'
| MASTER_LOG_POS = source_log_pos
| MASTER_AUTO_POSITION = {0|1}
| RELAY_LOG_FILE = 'relay_log_name'
| RELAY_LOG_POS = relay_log_pos
| MASTER_HEARTBEAT_PERIOD = interval
| MASTER_CONNECT_RETRY = interval
| MASTER_RETRY_COUNT = count
| SOURCE_CONNECTION_AUTO_FAILOVER = {0|1}
| MASTER_DELAY = interval
| MASTER_COMPRESSION_ALGORITHMS = 'value'
| MASTER_ZSTD_COMPRESSION_LEVEL = level
| MASTER_SSL = {0|1}
| MASTER_SSL_CA = 'ca_file_name'
| MASTER_SSL_CAPATH = 'ca_directory_name'
| MASTER_SSL_CERT = 'cert_file_name'
| MASTER_SSL_CRL = 'crl_file_name'
| MASTER_SSL_CRLPATH = 'crl_directory_name'
| MASTER_SSL_KEY = 'key_file_name'
| MASTER_SSL_CIPHER = 'cipher_list'
| MASTER_SSL_VERIFY_SERVER_CERT = {0|1}
| MASTER_TLS_VERSION = 'protocol_list'
| MASTER_TLS_CIPHERSUITES = 'ciphersuite_list'
| MASTER_PUBLIC_KEY_PATH = 'key_file_name'
| GET_MASTER_PUBLIC_KEY = {0|1}
| NETWORK_NAMESPACE = 'namespace'
| IGNORE_SERVER_IDS = (server_id_list)
}
channel_option:
FOR CHANNEL channel
server_id_list:
[server_id [, server_id] ... ]
  • 开启主备同步
START {SLAVE | REPLICA}
  • 停止主备同步
STOP {SLAVE | REPLICA}
  • 重置主备同步,需要先停止主备同步
RESET {SLAVE | REPLICA} [ALL] [channel_option]
channel_option:
FOR CHANNEL channel

  • 说明 如果目标端是PolarDB-X,目前暂时不支持相关Replicate指令。
相关文章
|
8天前
|
数据采集 人工智能 安全
|
17天前
|
云安全 监控 安全
|
3天前
|
机器学习/深度学习 人工智能 前端开发
构建AI智能体:七十、小树成林,聚沙成塔:随机森林与大模型的协同进化
随机森林是一种基于决策树的集成学习算法,通过构建多棵决策树并结合它们的预测结果来提高准确性和稳定性。其核心思想包括两个随机性:Bootstrap采样(每棵树使用不同的训练子集)和特征随机选择(每棵树分裂时只考虑部分特征)。这种方法能有效处理大规模高维数据,避免过拟合,并评估特征重要性。随机森林的超参数如树的数量、最大深度等可通过网格搜索优化。该算法兼具强大预测能力和工程化优势,是机器学习中的常用基础模型。
291 164
|
2天前
|
机器学习/深度学习 自然语言处理 机器人
阿里云百炼大模型赋能|打造企业级电话智能体与智能呼叫中心完整方案
畅信达基于阿里云百炼大模型推出MVB2000V5智能呼叫中心方案,融合LLM与MRCP+WebSocket技术,实现语音识别率超95%、低延迟交互。通过电话智能体与座席助手协同,自动化处理80%咨询,降本增效显著,适配金融、电商、医疗等多行业场景。
300 155
|
4天前
|
机器学习/深度学习 人工智能 前端开发
构建AI智能体:六十九、Bootstrap采样在大模型评估中的应用:从置信区间到模型稳定性
Bootstrap采样是一种通过有放回重抽样来评估模型性能的统计方法。它通过从原始数据集中随机抽取样本形成多个Bootstrap数据集,计算统计量(如均值、标准差)的分布,适用于小样本和非参数场景。该方法能估计标准误、构建置信区间,并量化模型不确定性,但对计算资源要求较高。Bootstrap特别适合评估大模型的泛化能力和稳定性,在集成学习、假设检验等领域也有广泛应用。与传统方法相比,Bootstrap不依赖分布假设,在非正态数据中表现更稳健。
233 113
|
11天前
|
SQL 自然语言处理 调度
Agent Skills 的一次工程实践
**本文采用 Agent Skills 实现整体智能体**,开发框架采用 AgentScope,模型使用 **qwen3-max**。Agent Skills 是 Anthropic 新推出的一种有别于mcp server的一种开发方式,用于为 AI **引入可共享的专业技能**。经验封装到**可发现、可复用的能力单元**中,每个技能以文件夹形式存在,包含特定任务的指导性说明(SKILL.md 文件)、脚本代码和资源等 。大模型可以根据需要动态加载这些技能,从而扩展自身的功能。目前不少国内外的一些框架也开始支持此种的开发方式,详细介绍如下。
803 6