瑶池数据库微课堂|PolarDB/RDS+ADB Zero-ETL:一种免费、易用、高效的数据同步方式
内容介绍:
一、Zero-ETL优势介绍
二、功能演示
三、未来规划
介绍阿里云瑶池数据库无感数据集成Zero-ETL的产品能力。本次介绍分为两部分,分别为Zero-ETL优势介绍和功能演示。
一、Zero-ETL优势介绍
1、OLTP与OLAP
(1)首先,从关系型数据库和数据仓库分析需要Zero-ETL的原因。关系型数据库OLTP是生产业务中必不可少的产品,承载线上核心业务系统的运转,包括注册、登录、交易等,具备事务处理、高并发查询等能力。代表产品是阿里云RDS、阿里云PolarDB。
(2)在线分析型数据库OLAP是专用于统计与分析的产品,擅长复杂的聚合查询、关联查询等,可支持PB级数据量做离线处理和在线运算,代表产品是阿里云AnalyticDB。
2、存在问题
随着业务数据量的增长,用户对数据价值的分析和挖掘需求更加强烈,但在业务数据库中直接进行数据分析。存在以下问题:
(1)TP和AP负载无法隔离,消耗更多资源,并影响到线上业务的正常响应。
(2)TP数据库无法进行多数据源的汇总,不能提供全局的分析视角。
(3)分析业务的C口通常比较复杂,涉及多聚合运算、多表关联等等,往往在TP中执行较慢或无法执行出结果。因此,AP数据仓库通常作为TP数据库的下游,提供查询加速、多数据汇集、分析等能力。TP数据库中的数据无感高效地同步到AP数仓中,阿里云瑶池数据库无感数据集成Zero-ETL功能可提供最佳选择,Zero-ETL旨在减少数据迁移或转换的复杂程度,让客户专注于上层数据分析。
3、主要优势
Zero-ETL方案主要有三个优势,分别是零成本、应用性好及同步高效。用户无需为同步链路付费,构建数仓成本可降低20%,并通过功能应用性的提升构建数仓效率提升60%。在性能上,Zero-ETL链路性能预计比传统同步链路提升15%。
二、功能演示
关于当前的Zero-ETL功能如何使用,以RDS MySQL到AnalyticDB My SQL为例:
首先从ADB实例控制台的实例详情页中点击无感数据集成。
点击创建Zero-ETL任务,进入功能配置阶段。
按照页面步骤,选择原端实例。
并完成源端和目标端数据库账号的填写后进入下一步。
选择需要同步的库表对象。在第三步中去完成,主键列、分布列的定义会默认映射原端的组件链信息。
点击下一步保存任务,进入预检查阶段。此时,该任务已完成预检查,
点击启动任务,并可开始数据同步。
三、未来规划
目前AnalyticDB产品针对新用户提供免费试用实例,对Zero-ETL功能感兴趣的用户可前往开通实例并进行体验。后续阿里云瑶池数据库也会持续对这个功能做进一步的优化与迭代。