在Flink如果partition数是6,source并行度是2,那么每3个partition数据会发送到一个source的solt中吗?还是partition数据会hash写入source的solt?
在Apache Flink中,当设置source的并行度为2,并且有6个partition时,数据分布的方式取决于所使用的数据源和相关的配置。
通常情况下,Flink会根据Partitioner策略来决定如何将数据分配到不同的并行实例。默认情况下,Flink使用的是RebalancePartitioner(重新平衡分区器),这种分区器会随机地将数据分配到下游的所有并行任务上,以便尽可能地均衡负载。这意味着,每3个partition的数据可能会被发送到任何一个source的slot中,而不是固定地将每个partition的数据分组到一起。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。