flinkcdc initial模式存量数据有时同步两遍,是机制还是偶发事件?

flinkcdc initial模式启动,在同步存量数据时,如果表数据有2000W,主键ID值在3000W+,会出现存量数据同步两遍的情况,之后进入增量数据同步。什么情况下会同步多遍?

展开
收起
游客cifqniwczsyk2 2024-12-19 09:46:45 174 分享 版权
1 条回答
写回答
取消 提交回答
  • 热衷于探索AI前沿技术,擅长AI与Mass平台相关的产品推广与代理类文章评测宣传,欢迎交流。 文章结尾联系我。MCP开发者 | Agent开发者 | RPA开发者 | 阿里云社区专家博主|支付宝社区优秀创作博主|腾讯云创作之星|极星会KOL|影刀+实在 双RPA高级认证|51CTO TOP红人

    这是Flink CDC在initial模式下的一种机制,可能会导致部分数据被处理两次;可以尝试调整Flink CDC的配置或检查源表的数据以减少这种情况。您可以查看一下阿里云MaxCompute的官方文档了解更多细节:https://help.aliyun.com/document_detail/129287.html。如果对您有帮助的话,可以帮忙采纳一下。谢谢。

    2025-02-10 11:54:48
    赞同 218 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理