Flink1.11.1版本job以Application Mode在K8S集群上运行,TaskManager都是申请的单独pod,分配在不同的node上,导致资源使用较低时,K8S集群无法进行自动缩容操作,浪费资源。
1、TaskManager申请的单独pod逻辑 org.apache.flink.kubernetes.KubernetesResourceManager.requestKubernetesPod()
2、K8S集群自动缩容条件,如AWS集群 http://apache-flink.147419.n8.nabble.com/file/t1176/22.jpg
3、资源使用低的节点无法调度 http://apache-flink.147419.n8.nabble.com/file/t1176/33.jpg
大家有关注这个问题吗?可以讨论下*来自志愿者整理的flink邮件归档
现在这种模式,可以实现每个pod可以配置不同的配置,如CPU、MEM。
但是整体的资源配置是相同的,是否使用statefulset模式启动TM pod更合适呢?*来自志愿者整理的FLINK邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。