我以前采用分配到多个TM的机制,最近尝试了下默认的优先单个TM的机制。
但是发现个问题,我当前每个TM是10个slot,我有个任务40并发,然后实际占用了5个TM,10+10+10+2+8。这个是啥情况呢?
我更期望要么就彻底平均(配置spread那个参数),要么就单个TM这样用。
前者:期望机器之间均衡。
后者:期间任务之间完全隔离,我的任务并发会设置单TMslot数量(10)的倍数。*来自志愿者整理的flink邮件归档
“默认的优先单个 TM 的机制”我记得没有这样的参数。你的意思是把 cluster.evenly-spread-out-slots 设为 false
吗?如果是这样,那么会在所有 slot 中任意选择,而不是优先单个 TM。
想知道优先单个 TM 是出于什么样的需求呢?因为这样做可能会造成集群内部分机器很忙,但部分机器空闲的情况,忙机器上的并发会被拖慢。*来自志愿者整理的FLINK邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。