开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

大家有没有遇到过Flink CDC多表关联任务,运行几天后,但并没有数据输出导致数据丢失问题?

问题1;大家有没有遇到过Flink CDC多表关联任务,运行几天后,join表数据更新,但并没有数据输出导致数据丢失问题?
问题2:是查看flink的日志吗?是的,用的是table api方式的

展开
收起
真的很搞笑 2023-09-06 14:46:40 166 0
1 条回答
写回答
取消 提交回答
  • 回答1:要看日志有没有获取到binlog修改的值,我猜你是多流join,dag图看一下,有没有finish 的源
    回答2:改成维表join好点,都是cdc,数据是有状态的,过来状态tll后,维表数据不一定能关联上的了吗所以你发现数据丢了
    是jdbc数据状态过期了,被清空了,改成维表join ,此回答整理自钉群“Flink CDC 社区”

    2023-09-06 15:34:19
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载