开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink web ui里面为啥Sink: clean_commits 这个步骤并行度是1?

我通过oracle的connector往hudi插入数据,flink web ui里面为啥Sink: clean_commits 这个步骤并行度是1,我设置的默认并行度是5,但是它改变不了?

展开
收起
真的很搞笑 2024-01-17 12:38:09 85 0
2 条回答
写回答
取消 提交回答
  • 改不了 ,此回答整理自钉群“【③群】Apache Flink China社区”

    2024-01-17 13:33:36
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink Web UI中显示的并行度是Sink操作的并行度,而不是整个作业的并行度。在插入数据到Hudi时,clean_commits Sink操作的并行度可能受到以下因素的影响:

    1. 数据源并行度:如果数据源(例如Oracle Connector)的并行度设置为1,那么clean_commits Sink操作的并行度也会被限制为1。请确保数据源的并行度设置正确。

    2. 配置参数:Flink作业的配置参数可能会影响Sink操作的并行度。请检查您的Flink作业配置文件(例如flink-conf.yaml),并确保没有设置任何限制Sink操作并行度的参数。

    3. 网络和资源限制:如果网络带宽或计算资源有限,可能会导致Sink操作的并行度无法达到预期值。请确保您的集群具有足够的资源来支持所需的并行度。

    如果您希望更改clean_commits Sink操作的并行度,可以尝试以下方法:

    1. 在Flink作业代码中显式设置Sink操作的并行度。您可以使用setParallelism()方法来指定所需的并行度。例如:
    DataStream<Row> dataStream = ...; // 从数据源获取数据流
    dataStream.addSink(new HudiCleanCommitsSink<>(...)
        .setParallelism(5)); // 设置并行度为5
    
    1. 更新Flink作业的配置参数。您可以通过修改Flink作业配置文件(例如flink-conf.yaml)来更改默认的并行度。例如:
    parallelism.default: 5
    

    请注意,这些方法只会影响clean_commits Sink操作的并行度,而不会影响整个作业的并行度。

    2024-01-17 12:52:07
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    使用TensorFlow搭建智能开发系统自劢生成App UI代码 立即下载
    Fusion Design - 企业级UI解决方案揭秘 立即下载
    使用TensorFlow搭建智能开发系统自动生成App UI 立即下载