DataWorks的实时数据同步节点主要支持以下任务:
总的来说,DataWorks的数据集成功能提供了丰富的数据同步任务类型,包括离线同步、实时同步和全增量同步等,用户可以根据需要选择合适的功能模块进行同步任务的配置。
DataWorks的实时数据同步节点支持多种数据源间的多种数据同步,详请可见下表。同步方式 来源数据源 去向数据源 数据源配置指导 同步任务配置指导
同步单表数据 配置并管理实时同步任务
同步整库数据 MaxCompute 配置并管理实时同步任务
Hologres 配置并管理实时同步任务
DataHub 配置并管理实时同步任务
MySQL Kafka 配置数据源(来源为MySQL) 配置并管理实时同步任务
https://help.aliyun.com/document_detail/181912.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks的实时数据同步节点主要支持以下任务:
请注意,当实时同步至MaxCompute默认数据源(一般为odps_first)时,默认使用临时AK进行同步,临时AK超过7天会自动过期,同时,将导致任务运行失败。平台检测到临时AK导致任务失败时会自动重启任务,如果任务配置了该类型的监控报警,您将会收到报警信息。
在DataWorks中,实时数据同步节点支持多种任务,包括但不限于以下几种:
使用限制
实时数据同步任务仅支持使用独享数据集成资源组。
实时同步节点目前仅支持同步PolarDB、MySQL、OceanBase数据源至AnalyticDB MySQL。
实时数据同步任务暂不支持同步没有主键的表。
DataWorks的实时数据同步节点支持以下任务:
需要注意的是,实时数据同步任务仅支持使用独享数据集成资源组。此外,实时同步节点目前支持的数据源及数据转换方式如下:输入数据源:MySQL Binlog、DataHub、LogHub、Kafka、PolarDB、SQL Server。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。