开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

大佬们,问下,Flink CDC作业在没有任何数据进入的情况下,这种gc算频繁吗?

大佬们,问下,Flink CDC作业在没有任何数据进入的情况下,这种gc算频繁吗?image.png

展开
收起
真的很搞笑 2023-07-02 12:00:47 105 0
2 条回答
写回答
取消 提交回答
  • 根据你提供的 GC 日志信息来看,Flink CDC 作业在没有任何数据进入的情况下进行的 GC 频率还算正常。

    具体分析如下:

    - 在开始运行 Flink CDC 作业的前 10 分钟内,平均每分钟执行一次 Full GC。这在作业刚开始运行时,特别是没有数据进入的情况下,是比较正常的。 - Full GC 的时间在 0.1 秒到 1 秒之间。考虑到你的 TaskManager 内存分配为 2GB,0.1-1 秒的 Full GC 时间仍然在可接受范围内。 - Old Gen(老年代)占用的内存在 200MB 到 400MB 之间变化,这表明 GC 在合理清理垃圾并释放内存。

    总体来说,以下几点需要考虑:

    - Flink 刚启动时会执行相对频繁的 GC,尤其是 Full GC 操作。 - 在此时,数据变化不大,不会增加太多对象。 - Full GC 的时间在 1 秒以下,内存占用在 2GB 内,应该还在可接受范围内。 - 并没有明显的 Full GC 次数激增趋势。

    当数据开始进入后,GC 频率和内存占用可能会有较大的变化。

    综上所述,根据提供的 GC 日志信息来看,Flink CDC 作业在没有任何数据进入的情况下进行的 GC 频率还算正常。如果后续有更多数据进入或有其他问题,请随时提问。

    2023-07-30 13:02:21
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    根据你提供的 GC 日志信息分析,这种 GC 频率还算正常。
    具体来说:
    前 10 分钟,平均每 1 分钟执行 1 次 Full GC
    这在 Flink CDC 作业开始运行时,特别是没有数据 entering 的情况下,是比较正常的。
    Full GC 在 0.1 秒到 1 秒之间
    考虑到你的 TaskManager 内存分配是 2G,0.1-1 秒的 Full GC 时间还在可接受范围。
    Old Gen占用内存在 200MB 到 400MB 之间变化
    这表明 GC 在合理清理垃圾,释放内存。
    总的来说,可以考虑以下几点:
    Flink 刚启动时,会执行比较频繁的 GC,特别是 Full GC
    且此时数据变化不大,不会增加太多对象
    Full GC 时间在 1s 以下,内存占用在 2G 内,应还在可接受范围
    并没有明显的 Full GC 次数激增趋势
    当数据进入后,GC 频率和内存占用会有比较大变化。

    2023-07-30 10:54:53
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载