开发者社区> 问答> 正文

如何通过代码修改taskmanager.memory.network配置?

我想问下现在有方法通过在代码设置taskmanager.memory.network网络所使用的内存吗,我这里使用的是在yarn上执行yarn session方式执行作业,如果不能通过代码在作业里修改内存配置,是不是只有在flink-conf.yaml修改内存配置,然后重启yarn-session,如果这样的话感觉很麻烦*来自志愿者整理的flink邮件归档

展开
收起
塔塔塔塔塔塔 2021-12-02 17:54:57 1216 0
1 条回答
写回答
取消 提交回答
  • 我理解你说的是用 yarn-session.sh 启动 Flink 之后,希望再提交作业时更改 network memory?这个是做不到的。

    network memory 是 flink 集群级别的配置,定义了集群每个 TM 有多少 network

    memory,集群一旦启动之后这个值是不会变的,如果要修改就一定要重启集群。

    如果希望针对不同作业使用不同的 network memory 配置,可以考虑使用 perjob

    方式执行作业,这样每个作业都自己有一个集群,可以在提交作业时通过 "-D

    taskmanager.memory.network.[min|max|fraction]= " 的方式覆盖

    flink-conf.yaml 中的默认配置。*来自志愿者整理的FLINK邮件归档

    2021-12-02 18:18:17
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
ALLUXIO (FORMERLY TACHYON): UNIFY DATA AT MEMORY SPEED - EFFECTIVE USING SPARK WITH ALLUXIO 立即下载
MongoShake -- Multi Active-Active and Cross-Region Disaster Recoverable MongoDB Service 立即下载
Running Apache Spark on a High Performance Cluster Using RDMA Networking and NVMe Flash 立即下载