开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

在使用Flink CDC时,除了指定savepoint路径外,恢复任务还需要提供哪些信息?

在使用Flink CDC时,除了指定savepoint路径外,恢复任务还需要提供哪些信息?当尝试通过手动保存的savepoint(路径为/data/bigdata/flksavepoint/savepoint-8bf7c8-d01d1e73c7c2)恢复Flink CDC从MySQL到StarRocks的任务时,在sql-client端提交作业时报错,请问如何解读这些错误信息?
9edd7e8d46aa480c33b233bfa18d5834.png0048f2b9fd33feff3da6c2c54fe3c9f7.png

展开
收起
小小鹿鹿鹿 2024-01-18 00:18:35 90 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    要通过savepoint恢复Flink CDC任务,除了指定savepoint路径外,还需要指定以下参数:

    1. 指定job名称:-c <job_name>,将<job_name>替换为实际的Flink CDC作业名称。
    2. 指定checkpoint目录:-s <checkpoint_directory>,将<checkpoint_directory>替换为实际的checkpoint目录路径。
    3. 指定savepoint时间:--from-savepoint <savepoint_time>,将<savepoint_time>替换为实际的savepoint时间。

    例如,如果要通过手动保存的savepoint恢复名为"my-flink-cdc-job"的Flink CDC任务,可以运行以下命令:

    flink run -c my-flink-cdc-job -s /data/bigdata/flksavepoint --from-savepoint savepoint-8bf7c8-d01d1e73c7c2
    

    如果通过sql-client端提交的CDC任务从MySQL到StarRocks,并且出现错误消息,可以通过查看错误日志来获取更多详细信息。错误日志通常位于Flink作业日志目录中,可以根据具体配置进行查找。

    2024-01-19 15:39:23
    赞同 展开评论 打赏
  • 现在只能先在 flink-conf 里设置 execution.savepoint.path 指定 savepoint 路径解决。在conf/flink-conf.yaml 后面加上 execution.savepoint.path: /flink-1.18.0/savepoint/savepoint-98578e-2e3d6f4f9f86 指定。此回答来自钉群Flink CDC 社区。

    2024-01-18 10:44:47
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载