想知道有什么方法解决hive小文件问题？
你好, 1：我设置的时候就是 使用的 partition-time 同时 设定checkpoint间隔为60s。但是我发现watermark一直没有生成或者更新，导致我的数据一直无法commit。想知道 为什么watermark无法生成。当时使用process-time是没问题的。 2：因为写hive的话会有小文件的问题。所以我使用file sink来设置合并文件和控制文件大小。但是写文件是无法写hive metastore。所以hive查不出数据。
想知道有什么方法解决hive小文件问题，难道只能T+1做小文件合并吗。*来自志愿者整理的flink
展开
收起
1
条回答
写回答
写回答
-
- watermark的问题需要检查一下source，比如watermark是如何定义的、是不是source没数据导致watermark不前进等。
- 小文件合并的功能Hive跟FileSystem connector都是支持的，可以参考这个文档配置一下试试： https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/filesystem.html#file-compaction*来自志愿者整理的flink
2021-12-05 17:39:58赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
