开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC多线程限制么?这日志一直再跑,但是表早就更新了

Flink CDC多线程限制么?这日志一直再跑,但是表早就更新了image.png 好像内存快满了image.png

展开
收起
真的很搞笑 2023-07-01 19:35:50 97 0
3 条回答
写回答
取消 提交回答
  • 在 Flink CDC 中,并行度可以根据您的需求进行设置。增加并行度通常可以提高程序的处理能力和效率,但也会占用更多的系统资源。

    然而,需要注意的是,如果您使用的是基于 LogMiner 的 CDC 方案,存在一些限制。例如,LogMiner 会占用数据库的资源,并且在某些情况下可能由于资源限制无法及时捕获最新的数据变更,从而导致 Flink CDC 中的数据同步滞后。

    在您描述的情况中,如果 Flink CDC 的日志一直在运行,但表早已更新,可能是因为 LogMiner 没有及时捕获到最新的数据变更,或者 LogMiner 的资源已经耗尽无法进行数据捕获。您可以尝试减少 Flink CDC 的并行度,或者考虑更换 CDC 方案,例如使用基于触发器的 CDC 方案,以提高数据同步的效率和准确性。

    此外,关于内存快速消耗的问题,Oracle 和 Flink 都是较为重量级的应用程序。如果您在运行 Flink CDC 过程中出现内存快速消耗的情况,建议您检查并调整 Flink 程序的内存配置,确保分配足够的内存来支持程序的运行。

    总结来说,在 Flink CDC 中可以根据需要设置多线程的并行度。同时,需要注意 LogMiner 的限制和资源占用问题,并尝试适当调整并行度或更换 CDC 方案来提高数据同步的效率和准确性。另外,对于内存消耗问题,建议您检查和调整 Flink 程序的内存配置以满足程序运行的需求。

    2023-07-30 13:36:30
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    在 Flink CDC 中,多线程的并行度可以根据您的需求进行设置。通常情况下,增加并行度可以提高程序的处理能力和效率,但是也会占用更多的系统资源。
    另外,如果您在 Flink CDC 中使用的是基于 LogMiner 的 CDC 方案,需要注意 LogMiner 的一些限制。例如,LogMiner 会占用数据库的资源,并且在一些情况下可能会因为资源限制而无法捕获到最新的数据变更,从而导致 Flink CDC 中的数据同步滞后。
    在您提到的情况中,如果 Flink CDC 的日志一直在运行,但是表早已更新了,可能是因为 LogMiner 没有及时捕获到最新的数据变更,或者 LogMiner 的资源已经被占满,无法进行数据捕获。您可以尝试减少 Flink CDC 的并行度,或者更换 CDC 方案,例如使用基于触发器的 CDC 方案,以提高数据同步的效率和准确性。

    2023-07-30 12:54:47
    赞同 展开评论 打赏
  • 是哦,oracle和flink都是比较重的app,此回答整理自钉群“Flink CDC 社区”

    2023-07-01 19:37:51
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载