瑶池数据库微课堂|PolarDB/RDS+ADB Zero-ETL:一种免费、易用、高效的数据同步方式

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 瑶池数据库微课堂介绍阿里云PolarDB/RDS与ADB的Zero-ETL功能,实现免费、易用、高效的数据同步。内容涵盖OLTP与OLAP的区别、传统ETL存在的问题及Zero-ETL的优势(零成本、高效同步),并演示了从RDS MySQL到AnalyticDB MySQL的具体操作步骤。未来将优化和迭代此功能,提供更好的用户体验。

瑶池数据库微课堂|PolarDB/RDS+ADB Zero-ETL:一种免费、易用、高效的数据同步方式


内容介绍:

一、Zero-ETL优势介绍

二、功能演示

三、未来规划

 

介绍阿里云瑶池数据库无感数据集成Zero-ETL的产品能力。本次介绍分为两部分,分别为Zero-ETL优势介绍和功能演示。

 

一、Zero-ETL优势介绍

1、OLTP与OLAP

(1)首先,从关系型数据库和数据仓库分析需要Zero-ETL的原因。关系型数据库OLTP是生产业务中必不可少的产品,承载线上核心业务系统的运转,包括注册、登录、交易等,具备事务处理、高并发查询等能力。代表产品是阿里云RDS、阿里云PolarDB。

(2)在线分析型数据库OLAP是专用于统计与分析的产品,擅长复杂的聚合查询、关联查询等,可支持PB级数据量做离线处理和在线运算,代表产品是阿里云AnalyticDB。

2、存在问题

随着业务数据量的增长,用户对数据价值的分析和挖掘需求更加强烈,但在业务数据库中直接进行数据分析。存在以下问题:

(1)TP和AP负载无法隔离,消耗更多资源,并影响到线上业务的正常响应。

(2)TP数据库无法进行多数据源的汇总,不能提供全局的分析视角。

image.png

(3)分析业务的C口通常比较复杂,涉及多聚合运算、多表关联等等,往往在TP中执行较慢或无法执行出结果。因此,AP数据仓库通常作为TP数据库的下游,提供查询加速、多数据汇集、分析等能力。TP数据库中的数据无感高效地同步到AP数仓中,阿里云瑶池数据库无感数据集成Zero-ETL功能可提供最佳选择,Zero-ETL旨在减少数据迁移或转换的复杂程度,让客户专注于上层数据分析。

3、主要优势

Zero-ETL方案主要有三个优势,分别是零成本、应用性好及同步高效。用户无需为同步链路付费,构建数仓成本可降低20%,并通过功能应用性的提升构建数仓效率提升60%。在性能上,Zero-ETL链路性能预计比传统同步链路提升15%。

 

二、功能演示

关于当前的Zero-ETL功能如何使用,以RDS MySQL到AnalyticDB My SQL为例:

首先从ADB实例控制台的实例详情页中点击无感数据集成。

image.png

image.png

点击创建Zero-ETL任务,进入功能配置阶段。

image.png

按照页面步骤,选择原端实例。

image.png

并完成源端和目标端数据库账号的填写后进入下一步。

image.png

选择需要同步的库表对象。在第三步中去完成,主键列、分布列的定义会默认映射原端的组件链信息。

image.png

点击下一步保存任务,进入预检查阶段。此时,该任务已完成预检查,

image.png

点击启动任务,并可开始数据同步。

 

三、未来规划

目前AnalyticDB产品针对新用户提供免费试用实例,对Zero-ETL功能感兴趣的用户可前往开通实例并进行体验。后续阿里云瑶池数据库也会持续对这个功能做进一步的优化与迭代。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
1天前
|
关系型数据库 Serverless 分布式数据库
瑶池数据库微课堂 | PolarDB Serverless弹性&价格力观测
瑶池数据库微课堂介绍阿里云PolarDB Serverless的弹性与性价比优势。通过瑶池解决方案体验馆,用户可免费实操,直观感受Serverless的秒级弹性及超高性价比。内容涵盖Serverless概念、操作步骤、压测演示及性能曲线分析,展示PolarDB在不同负载下的自动扩展能力。适合希望了解云数据库弹性和成本效益的技术人员。
|
6天前
|
关系型数据库 分布式数据库 数据库
1月17日|阿里云云谷园区,PolarDB V2.0技术沙龙,畅聊国产数据库
为了助力国产化项目顺利推进,阿里云邀请企业开发者和数据库负责人到云谷园区,与PolarDB V2.0技术专家面对面交流。扫描海报二维码报名,我们将根据信息为您申请入园。欢迎参与,共同探讨PolarDB的最新技术和应用!
|
2天前
|
Cloud Native 关系型数据库 分布式数据库
让PolarDB更了解您--PolarDB云原生数据库核心功能体验馆
让PolarDB更了解您——PolarDB云原生数据库核心功能体验馆,由阿里云数据库产品事业部负责人宋震分享。内容涵盖PolarDB技术布局、开源进展及体验馆三大部分。技术布局包括云计算加速数据库演进、数据处理需求带来的变革、软硬协同优化等;开源部分介绍了兼容MySQL和PostgreSQL的两款产品;体验馆则通过实际操作让用户直观感受Serverless、无感切换、SQL2Map等功能。
|
9天前
|
运维 关系型数据库 MySQL
体验领礼啦!体验自建数据库迁移到阿里云数据库RDS,领取桌面置物架!
「技术解决方案【Cloud Up 挑战赛】」上线!本方案介绍如何将自建数据库平滑迁移至云数据库RDS,解决业务增长带来的运维难题。通过使用RDS MySQL,您可获得稳定、可靠和安全的企业级数据库服务,专注于核心业务发展。完成任务即可领取桌面置物架,每个工作日限量50个,先到先得。
|
19天前
|
NoSQL 关系型数据库 分布式数据库
基于PolarDB的图分析:通过DTS将其它数据库的数据表同步到PolarDB的图
本文介绍了使用DTS任务将数据从MySQL等数据源实时同步到PolarDB-PG的图数据库中的步骤.
|
22天前
|
SQL 关系型数据库 分布式数据库
夺冠在即 | PolarDB数据库创新设计赛(天池杯)决赛答辩通知
2024年全国大学生计算机系统能力大赛PolarDB数据库创新设计赛(天池杯)于8月21日启动,吸引了200多所高校近千支队伍参赛。经过激烈角逐,60支队伍晋级决赛第一阶段,36支队伍脱颖而出进入现场答辩,将于12月29日在武汉大学争夺最终奖项。决赛要求选手基于PolarDB-PG开源代码部署集群并优化TPCH查询性能。完赛率超90%,成绩表现出明显梯度,前20名均在500秒内完成。评委来自学术界和工业界,确保评选公正。预祝选手们取得优异成绩!
|
27天前
|
运维 关系型数据库 MySQL
自建数据库迁移到云数据库RDS
本次课程由阿里云数据库团队的凡珂分享,主题为自建数据库迁移至云数据库RDS MySQL版。课程分为四部分:1) 传统数据库部署方案及痛点;2) 选择云数据库RDS MySQL的原因;3) 数据库迁移方案和产品选型;4) 线上活动与权益。通过对比自建数据库的局限性,介绍了RDS MySQL在可靠性、安全性、性价比等方面的优势,并详细讲解了使用DTS(数据传输服务)进行平滑迁移的步骤。此外,还提供了多种优惠活动信息,帮助用户降低成本并享受云数据库带来的便利。
|
19天前
|
NoSQL 关系型数据库 分布式数据库
PolarDB图数据库快速入门
图数据库(Graph Database)专门存储图数据,适合处理社交网络、知识图谱等复杂关系。它使用图查询语言(如Cypher、Gremlin)进行操作。PolarDB兼容OpenCypher语法,支持创建、查询、更新和删除图数据,包括模式匹配、过滤、MERGE避免重复、可视化工具等功能,简化了图数据的管理和应用。
|
3月前
|
关系型数据库 MySQL 分布式数据库
零基础教你用云数据库PolarDB搭建企业网站,完成就送桌面收纳桶!
零基础教你用云数据库PolarDB搭建企业网站,完成就送桌面收纳桶,邀请好友完成更有机会获得​小米Watch S3、小米体重称​等诸多好礼!
零基础教你用云数据库PolarDB搭建企业网站,完成就送桌面收纳桶!