用这两个flink run的参数提交任务到集群上，为什么在管理页面显示container数量不一样？
我用这两个flink run的参数提交同一个任务到yarn集群上，在yarn的管理页面显示启动的container数量不一样。为什么？实际应该用那个呢？bin/flink run -t yarn-per-job -ys 2 -yjm 1G -ytm 4G -p 5 -sae
bin/flink run -t yarn-per-job -p 5 -sae -Djobmanager.memory.process.size=1024mb -Dtaskmanager.memory.process.size=4096mb -Dtaskmanager.numberOfTaskSlots=2
写回答
-
十分耕耘，一定会有一分收获！楼主你好，在使用Flink提交任务到YARN集群上时，容器数量的不一致可能是参数配置不一致造成的，你提供的两个
flink run命令中，有一些参数是不同的，比如-ys和-yjm参数，这些参数会影响任务运行时的资源分配和容器数量，所以请确保两次提交任务时的参数配置一致，才能得到一致的容器数量。还有就是任务图的拓扑结构，Flink任务图的拓扑结构可能会导致不同的容器需求，如果任务的操作符数量或节点之间的依赖关系不同，那么为了满足任务的需求，启动的容器数量可能会不一致。
2024-01-26 09:34:55赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
相关课程
更多
相关文章
相关电子书
更多
