开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

在Flink如果满足条件,那么每3个partition数据会发送到一个source的solt中吗?

在Flink如果partition数是6,source并行度是2,那么每3个partition数据会发送到一个source的solt中吗?还是partition数据会hash写入source的solt?

展开
收起
三分钟热度的鱼 2023-12-13 18:14:00 49 0
2 条回答
写回答
取消 提交回答
  • 在Apache Flink中,当设置source的并行度为2,并且有6个partition时,数据分布的方式取决于所使用的数据源和相关的配置。

    通常情况下,Flink会根据Partitioner策略来决定如何将数据分配到不同的并行实例。默认情况下,Flink使用的是RebalancePartitioner(重新平衡分区器),这种分区器会随机地将数据分配到下游的所有并行任务上,以便尽可能地均衡负载。这意味着,每3个partition的数据可能会被发送到任何一个source的slot中,而不是固定地将每个partition的数据分组到一起。

    2023-12-13 19:43:17
    赞同 展开评论 打赏
  • 一般是hash到下游。此回答整理自钉群“实时计算Flink产品交流群”

    2023-12-13 18:31:40
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载