开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中 flink sql client 方式是不是无法断点续传?

Flink CDC中 flink sql client 方式是不是无法断点续传?

展开
收起
十一0204 2023-08-09 09:12:26 280 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 Flink CDC 中使用 Flink SQL Client 方式执行任务时,默认情况下是不支持断点续传的。Flink SQL Client 是一种交互式的方式,每次执行任务时会从头开始读取源数据,并处理完整的数据流。

    断点续传通常与 Flink 的作业管理器和保存点(savepoint)机制相关。通过保存点,您可以在作业执行过程中创建中间状态,并在需要时从保存点恢复作业的执行。这样可以实现断点续传功能,确保作业可以从上一次保存点的位置继续执行。

    然而,Flink SQL Client 目前并没有直接集成保存点机制和断点续传功能。如果您需要实现断点续传,可以考虑以下两种方式:

    使用 Flink DataStream API: Flink DataStream API 提供了更多的灵活性和控制力,可以手动管理保存点并实现断点续传功能。您可以编写 Flink DataStream API 的代码,使用 CDC Connector 将数据流导入到 Flink 中,并在代码中配置保存点和断点续传逻辑。

    结合 Flink SQL 和 Flink DataStream API: 您可以结合使用 Flink SQL 和 Flink DataStream API,将 Flink SQL 用于查询和流式处理,同时使用 Flink DataStream API 来管理保存点和断点续传。您可以使用 Flink SQL Client 执行查询和定义任务,然后将任务导出为 DataStream API 的代码,并在代码中添加保存点和断点续传的逻辑。

    2023-08-11 21:19:00
    赞同 展开评论 打赏
  • 意中人就是我呀!

    sql可以通过checkpoint。此回答整理至钉群“Flink CDC 社区”。

    2023-08-09 12:05:43
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    SQL Server在电子商务中的应用与实践 立即下载
    GeoMesa on Spark SQL 立即下载
    原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载