我通过oracle的connector往hudi插入数据,flink web ui里面为啥Sink: clean_commits 这个步骤并行度是1,我设置的默认并行度是5,但是它改变不了?
Flink Web UI中显示的并行度是Sink操作的并行度,而不是整个作业的并行度。在插入数据到Hudi时,clean_commits Sink操作的并行度可能受到以下因素的影响:
数据源并行度:如果数据源(例如Oracle Connector)的并行度设置为1,那么clean_commits Sink操作的并行度也会被限制为1。请确保数据源的并行度设置正确。
配置参数:Flink作业的配置参数可能会影响Sink操作的并行度。请检查您的Flink作业配置文件(例如flink-conf.yaml),并确保没有设置任何限制Sink操作并行度的参数。
网络和资源限制:如果网络带宽或计算资源有限,可能会导致Sink操作的并行度无法达到预期值。请确保您的集群具有足够的资源来支持所需的并行度。
如果您希望更改clean_commits Sink操作的并行度,可以尝试以下方法:
setParallelism()
方法来指定所需的并行度。例如:DataStream<Row> dataStream = ...; // 从数据源获取数据流
dataStream.addSink(new HudiCleanCommitsSink<>(...)
.setParallelism(5)); // 设置并行度为5
parallelism.default: 5
请注意,这些方法只会影响clean_commits Sink操作的并行度,而不会影响整个作业的并行度。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。