阿里云E-MapReduce我用flume工具同步数据到oss，切分出来的文件毫无规律是什么原因？
阿里云E-MapReduce我用flume工具同步数据到oss，安装好了Hadoop环境，然后用jindodata，配置里的rollSize，rollInterval，rollCount设置不生效，切分出来的文件毫无规律是什么原因？
写回答
-
对于Flume同步数据到OSS，使用JindoData进行数据切分的问题，可能有以下几种原因：
RollingPolicy配置问题：RollingPolicy的配置可能不正确，导致数据无法按照预期的规则进行切分。你需要检查RollingPolicy的配置，确保RollSize、RollInterval和RollCount的值都设置正确。
Flume Channel容量问题：Flume Channel的容量可能不足以存储所有的数据，导致数据无法被完整地写入Channel，从而影响了RollingPolicy的工作。你需要检查Flume Channel的配置，确保其容量足够大。
JindoData版本问题：JindoData的版本可能与你的Flume和其他组件的版本不兼容，导致RollingPolicy无法正常工作。你需要检查JindoData的版本，确保其与其他组件的版本兼容。
其他问题：可能还存在其他问题，如网络问题、权限问题等，导致数据无法被正确地写入OSS。你需要检查系统的日志，找出可能的问题。
建议你先检查RollingPolicy的配置，然后检查Flume Channel的容量，最后检查JindoData的版本。如果这些都检查过了，但仍然存在问题，那么可能需要进一步检查和调试。
2023-10-31 15:01:04赞同 展开评论 打赏 -
这个和 jindodata 应该关系不大。rollSize，rollInterval，rollCount这些设置是flume层面决定的，不会不生效。，此回答整理自钉群“JindoData 用户交流群”
2023-10-30 22:51:53赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
