创建RDS到分析型数据库AnalyticDB数据实时同步

本文涉及的产品
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS AI 助手,专业版
简介: 数据传输服务DTS支持RDS到分析型数据库AnalyticDB之间的数据实时同步。通过DTS提供的RDS->AnalyticDB实时同步功能,可以将将企业数据集中分析,实现企业内部各种BI、CRM、实时报表系统等。

数据传输服务DTS支持RDS到分析型数据库AnalyticDB之间的数据实时同步。通过DTS提供的RDS->AnalyticDB实时同步功能,可以将将企业数据集中分析,实现企业内部各种BI、CRM、实时报表系统等。
本小节介绍如何使用数据传输服务DTS快速创建RDS(MySQL)->AnalyticDB实例之间的实时同步作业,实现RDS增量数据到AnalyticDB的数据实时同步。

支持功能

  1. 支持同一个阿里云账号下RDS(MySQL)->AnalyticDB实例的数据实时同步。
  2. 支持不同阿里云账号下的RDS->AnalyticDB实例间的数据实时同步。

支持SQL操作类型

RDS->AnalyticDB实时同步支持的SQL操作类型如下:
Insert
Delete
Update
Alter table(只支持增加列,减少列/修改列名 不支持)
Truncate table
Drop table

目前暂不支持Create Table,如果同步过程中RDS实例中新建表需要同步,那么参考 新增同步对象, 修改这个同步作业,将新建表添加到同步对象中。

配置步骤

下面我们详细介绍下创建任意两个RDS实例之间的同步链路的具体步骤。

1. 购买同步链路

进入数据传输服务控制台,进入数据同步页面,点击控制台右上角“创建同步作业” 开始作业配置。

在链路配置之前需要购买一个同步链路。同步链路目前支持包年包月及按量付费两种付费模式,可以根据需要选择不同的付费模式。

在购买页面需要配置的参数包括:

  • 源实例
    源实例目前只支持 RDS For MySQL, 所以选择RDS For MySQL即可。
  • 源地域
    源地域为同步链路源实例所在地域。
  • 目标实例
    目标实例目前支持 RDS For MySQL、MaxCompute、Datahub 及 分析型数据库AnalyticDB 。这里面选择 分析型数据库AnalyticDB。
  • 目标地域

目标地域为同步AnalyticDB数据库所在地域。

  • 实例规格

实例规格影响了链路的同步性能,实例规格跟性能之间的对应关系详见 数据同步规格说明

  • 数量

数量为一次性购买的同步链路的数量,如果购买的是按量付费实例,一次最多购买99条链路。

数据同步购买

当购买完同步实例,返回数据传输控制台,点击新购链路右侧的“配置同步作业” 开始链路配置。

2. 同步链路连接信息配置

在这一步主要配置:

  • 同步作业名称

同步作业名称没有唯一性要求,主要为了更方便识别具体的作业,建议选择一个有业务意义的作业名称,方便后续的链路查找及管理。

  • 源实例ID

选择源RDS实例ID时,下拉菜单中只列出对应阿里云账号下的RDS For MySQL实例。

  • 目标AnalyticDB 数据库

配置目标AnalyticDB对应的数据库名称

RDS2ADS连接信息

当这些内容配置完成后,可以点击授权白名单并进入下一步 进行RDS白名单添加及AnalyticDB账号权限授权。

3. AnalyticDB 账号授权

在这个步骤需要将AnalyticDB对应数据库的读写权限授权给DTS 同步账号。ADS账号授权

4. 授权RDS实例白名单

这个步骤,主要是将数据传输服务器IP添加到同步RDS实例的白名单中。避免因为RDS设置了白名单,数据传输服务器连接不上RDS导致同步作业创建失败。

为了保证同步作业的稳定性,在同步过程中,请勿将这些服务器IP从RDS实例的白名单中删除。

当白名单授权后,点击下一步,进入同步账号创建。

5. 选择同步对象

当AnalyticDB同步账号授权完成后,即进入同步对象的选择步骤。实时同步的同步对象的选择粒度可以支持到表级别,即用户可以选择同步某些库或是同步某几张表。
RDS2ADS同步对象选择

当配置完同步对象后,进入同步初始化配置。

6. 表结构定义

如果选择了结构初始化,那么需要对每个要同步的表,定义其在AnalyticDB中的表类型,主键,分区列等。AnalyticDB的表定义。AnalyticDB的表定义可以参考 创建和修改表

7. 预检查

当上面所有选项配置完成后,即进入启动之前的预检查。

当同步作业配置完成后,数据传输服务会进行限制预检查,当预检查通过后,可以点击 启动 按钮,启动同步作业。

当同步作业启动之后,即进入同步作业列表。此时刚启动的作业处于同步初始化状态。初始化的时间长度依赖于源实例中同步对象的数据量大小。当初始化完成后同步链路即进入同步中的状态,此时源跟目标实例的同步链路才真正建立完成。

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
12月前
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
10月前
|
运维 算法 机器人
阿里云AnalyticDB具身智能方案:破解机器人仿真数据、算力与运维之困
本文将介绍阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL推出的全托管云上仿真解决方案,方案采用云原生架构,为开发者提供从开发环境、仿真计算到数据管理的全链路支持。
|
10月前
|
SQL 人工智能 关系型数据库
如何实现MySQL百万级数据的查询?
本文探讨了在MySQL中对百万级数据进行排序分页查询的优化策略。面对五百万条数据,传统的浅分页和深分页查询效率较低,尤其深分页因偏移量大导致性能显著下降。通过为排序字段添加索引、使用联合索引、手动回表等方法,有效提升了查询速度。最终建议根据业务需求选择合适方案:浅分页可加单列索引,深分页推荐联合索引或子查询优化,同时结合前端传递最后一条数据ID的方式实现高效翻页。
541 0
|
9月前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
719 10
|
11月前
|
监控 关系型数据库 MySQL
DTS实时同步进阶:MySQL到AnalyticDB毫秒级ETL管道搭建
本方案采用“Binlog解析-数据清洗-批量写入”三级流水线架构,实现MySQL到AnalyticDB的高效同步。通过状态机解析、内存格式转换与向量化写入技术,保障毫秒级延迟(P99<300ms)、50万+ TPS吞吐及99.99%数据一致性,支持高并发、低延迟的数据实时处理场景。
348 10
|
10月前
|
SQL 存储 缓存
MySQL 如何高效可靠处理持久化数据
本文详细解析了 MySQL 的 SQL 执行流程、crash-safe 机制及性能优化策略。内容涵盖连接器、分析器、优化器、执行器与存储引擎的工作原理,深入探讨 redolog 与 binlog 的两阶段提交机制,并分析日志策略、组提交、脏页刷盘等关键性能优化手段,帮助提升数据库稳定性与执行效率。
279 0
|
关系型数据库 MySQL Linux
在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾
以上就是在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾的步骤。这个过程就像是一场接力赛,数据从MySQL数据库中接力棒一样传递到备份文件,再从备份文件传递到其他服务器,最后再传递回MySQL数据库。这样,即使在灾难发生时,我们也可以快速恢复数据,保证业务的正常运行。
566 28
|
存储 SQL 缓存
mysql数据引擎有哪些
MySQL 提供了多种存储引擎,每种引擎都有其独特的特点和适用场景。以下是一些常见的 MySQL 存储引擎及其特点:
317 0
|
关系型数据库 RDS 分布式计算
MySQL/RDS数据如何同步到MaxCompute之实践讲解
大数据计算服务(MaxCompute,原名ODPS)是阿里云提供的一种快速、完全托管的EB级数据仓库解决方案。本文章中阿里云MaxCompute公有云技术支持人员刘力夺通过一个实验向大家介绍了阿里云关系型数据库产品RDS中的MySQL数据如何同步到MaxCompute,帮助用户大体了解MaxCompute产品以及其数据同步过程。
5585 1

推荐镜像

更多