开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC oracle 任务停止 这个问题有遇到过吗?

Flink CDC oracle 任务停止 新加表 从savepoint 恢复 会报错 ,这个问题有遇到过吗?

展开
收起
真的很搞笑 2023-09-06 18:47:52 74 0
1 条回答
写回答
取消 提交回答
  • 在 Flink CDC 中,如果您在任务停止后新添加了表,并尝试从 savepoint 恢复任务,可能会遇到以下问题:

    表不存在错误:由于在任务停止时该表不存在,从 savepoint 恢复任务时会报告表不存在的错误。这是因为 Flink CDC 在 savepoint 中记录了任务的状态,包括读取的表结构等信息。如果要恢复的表在 savepoint 创建时不存在,会导致恢复过程中出现表不存在的错误。

    数据丢失或错位:即使从 savepoint 恢复成功,由于新添加的表中没有之前已同步的数据,可能会导致数据丢失或错位的问题。这是因为 savepoint 恢复仅恢复了任务的状态,而不会自动同步新添加的表的数据。

    解决这个问题的方法可能因具体情况而异:

    删除旧的 savepoint 并重新启动任务:如果新添加的表对任务的处理逻辑没有影响,并且您可以接受重新读取所有数据的话,可以尝试删除旧的 savepoint 文件,并重新启动任务。这样可以在任务重新启动时根据新的表结构重新读取和处理数据。

    手动同步新添加的表数据:如果您希望保留已有的 savepoint,并尽量避免重新处理旧数据,可以考虑手动同步新添加的表数据。您可以通过其他方式(如增量同步、全量导入等)将新添加的表数据同步到任务使用的数据库中,然后让任务继续正常运行。

    需要根据具体情况进行评估和选择合适的解决方案。建议查阅 Flink 和 Oracle 的文档、社区或官方支持渠道,以获取更准确的解决方案和支持。

    2023-09-19 12:01:14
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像