开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

对于Flink CDC,为什么flink的managed memory都满了?

对于Flink CDC,为什么flink的managed memory都满了,为什么checkpoint的大小才几十Mb?iwEcAqNwbmcDAQTRCH8F0QFiBrA0Rm5qnXFhHwZlVrjCRbQAB9JauzJECAAJomltCgAL0gAAjLw.png_720x720q90.jpg
iwEdAqNwbmcDAQTRB8YF0QJYBrDagbT9o9zsgwZlVsKXX3cAB9JauzJECAAJomltCgAL0gAAwiU.png_720x720q90.jpg

展开
收起
想去床上睡觉 2024-07-02 16:39:40 104 0
1 条回答
写回答
取消 提交回答
  • Managed Memory保存的是中间处理数据,例如序缓冲区、连接操作的哈希表等中间结果数据。checkpoint是实现容错机制,定期保存任务的状态快照和进度等关键信息。
    很多计算可以基于保存的状态从原始数据重新计算中间结果,因此checkpoint无需保存Managed Memory中的每个中间结果数据,所以就会少。-此回答整理自钉群“Flink CDC 社区”

    2024-07-02 18:53:37
    赞同 5 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载