开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中datax可能了解多一点,觉得对比一下,为什么flink不适合做全量同步了吗?

Flink CDC中datax可能了解多一点,觉得对比一下,你知道为什么flink不适合做全量同步了,有哪些因素考虑?现在用到datax

展开
收起
真的很搞笑 2023-12-19 08:07:19 326 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC确实支持全量同步,但在某些场景下可能存在一些限制。首先,当使用Flink CDC进行全量同步时,它需要获取全局读锁或者表锁,这可能会对生产业务产生影响。其次,在全量同步阶段(快照),只有一个任务进行同步,因此速度相对较慢,并且不支持多任务并发同步。此外,Flink CDC的全量同步不支持断点续传,如果同步过程中出现mysql连接超时或flink程序快照中断,无法从断开点开始续传。

    然而,值得一提的是,Flink CDC在2.x版本中已经解决了这些问题:无锁、并发任务同步和断点续传。尽管如此,与DataX相比,DataX作为阿里巴巴开源的异构数据源同步工具,以其丰富的数据源支持和强大的数据转换能力被广大开发者所青睐。

    2023-12-19 20:33:19
    赞同 展开评论 打赏
  • flink针对oracle全量是基于闪回查询的模式,如果表DML特别多完全从undo里面构建前镜像的,这个速度快不起来,同时undo可能覆盖也会导致全量失败。针对oracle还不能多线程,只单线模式。 其他工具单纯抽取全量且支持并行,速度肯定很快,此回答整理自钉群“Flink CDC 社区”

    2023-12-19 16:19:15
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载