开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

各位大佬好,DataWorks中我这有个数据同步场景,需要把es的数据,定期全量增量同步到?

各位大佬好,DataWorks中我这有个数据同步场景,需要把es的数据,定期全量增量同步到oss-hdfs,请问这个工具可以支撑吗?需要怎么购买配置?

展开
收起
真的很搞笑 2023-05-21 17:21:10 124 0
1 条回答
写回答
取消 提交回答
  • 实际业务场景下,数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成,而是由多个离线同步、实时同步和数据处理等任务组合完成,这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题,DataWorks提出了面向业务场景的同步任务配置化方案,支持不同数据源的一键同步功能,例如“一键实时同步至Elasticsearch”、“一键实时同步至Hologres”和“一键实时同步至MaxCompute”功能等,通过此类功能,您只需要进行简单的配置,就可以完成一个复杂业务场景。以业务数据库数据同步到MaxCompute数据仓库为例,当有大量的数据存储在数据库系统里,需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时,数据集成传统方式是通过全量同步或者依赖数据库表中的modify_time等字段进行增量同步。但实际生产场景下,数据库表中不一定存在modify_time等字段,因此不能使用传统的基于JDBC抽取的方式进行增量同步。而“一键实时同步至MaxCompute”功能实现了数据库全增量实时同步到MaxCompute以及在MaxCompute上进行自动的全增量合并,可以使整个同步场景化繁为简。同步任务配置化方案具有如下优势:全量数据初始化。增量数据实时写入。增量数据和全量数据定时自动合并写入新的全量表分区。 https://help.aliyun.com/document_detail/199008.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-05-21 17:26:06
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks高效数据分析最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载