你好,
在使用filesystem connector过程中,开启了compaction,使用parquet列式文件,指定3个并行度,但发现无论如何也触发不了合并,因为列式文件是checkpoint触发时才会滚动,这样同一checkpoint内会产生与并行度相同的文件,按说此时文件数已经大于1了,为什么不合并呢?
create table fs_parquet_compact
(userid bigint, name string, part string)
PARTITIONED BY (part)
with(
'connector' = 'filesystem',
'path' = 'hdfs:///data/fs_parquet_compact',
'format' = 'parquet',
'auto-compaction' = 'true',
'compaction.file-size' = '2kb',
'sink.rolling-policy.file-size' = '500b',
'sink.rolling-policy.rollover-interval' = '800s',
'sink.rolling-policy.check-interval' = '60s'
);*来自志愿者整理的flink邮件归档
看到你的compaction.file-size配置成了2kb,这个是希望合并以后的文件的target size只有2kb么*来自志愿者整理的FLINK邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。