开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问生产环境 flink checkpoint 设置的间隔是多少?有什么建议吗?

问题1:请问生产环境 flink checkpoint 设置的间隔是多少?有什么建议吗?
问题2:秒级的实时同步,时不时用这个不太合适呢?

展开
收起
小易01 2023-07-19 17:59:59 394 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在生产环境中,Flink Checkpoint 的设置间隔需要根据具体情况进行调整。通常来说,Checkpoint 的设置间隔需要根据以下因素进行考虑:
    任务执行时间
    Checkpoint 的设置间隔需要考虑任务执行时间的长短。如果任务执行时间较长,Checkpoint 的间隔应该设置得比较短,以便更快地进行容错。如果任务执行时间较短,Checkpoint 的间隔可以设置得比较长。
    状态数据大小
    Checkpoint 的设置间隔需要考虑状态数据的大小。如果状态数据较大,Checkpoint 的间隔应该设置得比较短,以便更快地进行容错。如果状态数据较小,Checkpoint 的间隔可以设置得比较长。
    外部化存储
    如果启用了外部化存储,Checkpoint 的设置间隔可以设置得比较长,因为状态数据可以保存在外部存储中,即使 Flink 任务中途死了,Checkpoint 中保存的状态数据仍然存在,可以用于后续的任务恢复。不过,建议还是将 Checkpoint 的间隔设置得足够短,以便更快地

    2023-07-29 19:55:37
    赞同 展开评论 打赏
  • 意中人就是我呀!

    "回答1:看业务场景和数据处理逻辑复杂度情况 一般min级别即可,3-10分钟都可,要求要点就时间短点,要求没那么高就时间高点。
    回答2:不影响 也不能太频繁。这个是检查点,不是数据同步,两者不影响,你设置3分钟,还是走的秒同步数据。此回答整理至钉群“Flink CDC 社区”。"

    2023-07-19 18:57:54
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载