开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC我task的这个内存满了 在申请资源命令的时候有没有参数可以指定?

Flink CDC我task的这个内存满了 除了在flink-conf.yaml中配置 在申请资源命令的时候有没有参数可以指定?./bin/yarn-session.sh -jm 2048 -s 2 -tm 16384 我是这么创建集群 有没有参数能单独指定这个managed memory这个值?或者在代码里 能配置这个吗?image.png

展开
收起
真的很搞笑 2023-11-07 19:34:39 66 0
1 条回答
写回答
取消 提交回答
  • 在创建Flink集群时,可以通过-m参数来指定要使用的内存类型和大小。对于YARN环境,使用-m参数可以指定YARN容器内存(memory-mb)。

    如果你想单独指定Flink TaskManager的托管内存(managed memory)大小,可以在命令中添加-fm参数。该参数用于指定TaskManager的托管内存大小。

    以下是一个示例命令,演示如何在创建集群时单独指定TaskManager的托管内存大小:

    ./bin/yarn-session.sh -jm 2048 -s 2 -tm 16384 -fm 5120
    

    在上述命令中,-fm 5120指定了TaskManager的托管内存大小为5120MB。你可以根据实际需求调整该值。

    另外,你还可以在Flink的配置文件(例如flink-conf.yaml)中通过配置taskmanager.memory.managed-memory.size参数来指定TaskManager的托管内存大小。这样配置后,可以通过Flink的管理界面或命令行工具进行动态调整。

    2023-11-10 10:35:03
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载