开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据集成离线同步的原理是怎样的?

已解决

DataWorks数据集成离线同步的原理是怎样的?

展开
收起
甜甜的嘻嘻嘻 2022-09-29 16:50:22 758 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    离线同步从源端到目标端是通过数据集成引擎实现的。基于数据库 JDBC 协议或数 据源的 SDK 进行源库数据的统筹拉取及分割任务,把一个任务分成多个 Task,可以并 发读取数据,加快数据同步。每个 task 里都有对应的读写子线程,读时可以从分割好的 区域抽取源库数据,并把数据放到缓存里,最后由写入端 writer 通过调用 JDBC 或者 S DK 的接口把数据灌入到目标端。

    以上内容摘自《一站式大数据开发治理DataWorks使用宝典》电子书,点击https://developer.aliyun.com/ebook/download/467可下载完整版

    2022-09-29 17:04:34
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    Flink CDC:新一代数据集成框架 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    《DataWorks 数据集成实时同步》 立即下载