开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC启动后仍然从头开始读取数据,有没有遇到过呢 ?

Flink CDC用tidb连接器flink-connector-tidb-cdc-2.4.1.jar遇到从已存在的ck启动无效问题,启动后仍然从头开始读取数据,有没有遇到过呢 ?

展开
收起
真的很搞笑 2023-11-22 09:26:26 161 0
4 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC可以使用TiDB Connector从现有的checkpoint恢复状态,以便继续从上次停止的地方读取数据。
    但是,如果您遇到了从头开始读取数据的问题,则可能有以下几个原因:

    1. Checkpoint路径不存在:请确保您的checkpoint文件保存在正确的路径下,并且该路径可用。如果没有找到checkpoint文件,则CDC无法从中恢复状态。
    2. Checkpoint文件损坏:如果checkpoint文件损坏,则CDC也无法从中恢复状态。请检查checkpoint文件是否存在损坏的情况。
    3. 版本不兼容:请确认您的Flink版本与TiDB Connector版本之间没有不兼容的问题。
    2023-11-29 13:46:13
    赞同 展开评论 打赏
  • 这个问题可能是由于 Flink Connector for TiDB CDC 没有正确地识别到 Checkpoint 信息导致的。Checkpoint 是 Flink 用于保证任务一致性和容错的重要机制,如果 Checkpoint 信息没有正确地应用,那么任务可能会从初始状态开始运行,从而导致数据重复或丢失。

    你可以尝试以下几种方法来解决这个问题:

    1. 确保你的 Checkpoint 配置是正确的。你可以检查 Flink 的配置文件,看看 Checkpoint 相关的配置是否正确。

    2. 确保你的 Checkpoint 存储是可靠的。Checkpoint 存储需要能够持久化 Checkpoint 信息,并且在任务恢复时能够正确地加载 Checkpoint 信息。

    3. 更新你的 Flink 和 Flink Connector for TiDB CDC 版本。有时候,旧版本的软件可能存在一些问题,更新到新版本可能会解决问题。

    4. 查看 Flink 的日志,看看是否有其他的错误信息。有时候,Checkpoint 问题可能会引发其他的错误,这些错误信息可能会提供更多的线索。

    2023-11-29 12:01:30
    赞同 展开评论 打赏
  • ckp程序结束是默认不保存的哦,推荐的也是savepoint停止,启动,此回答整理自钉群“Flink CDC 社区”

    2023-11-22 12:08:50
    赞同 展开评论 打赏
  • 当使用 TiDB Connector for Flink CDC 连接 TiDB 时,请确保执行以下步骤以确保可以从已存在的 checkpoint 继续执行:

    1. 在 TiDB 中启用 binlog,并设置合适的 binlog 文件路径和格式。
    2. 在 Flink 配置文件中指定正确的源表名和目标表名,以及相应的主键字段列表。具体而言,设置源表名和目标表名是为了确定应同步哪些数据,设置主键字段是为了确保一致性和效率。
    2023-11-22 10:55:30
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载