hadoop号线不适合这种小文件的存储，还是将数据提取存储到nosql数据库中比较好？
物联网应用，数据为4ms采集一次，为了节省空间，全转换为8位二进制进行数据传递，app进行切割数据，15分钟为一个文件大约700k左右，想请教一下数据存储采用什么方式比较好，看了一下hadoop号线不适合这种小文件的存储，还是将数据提取存储到nosql数据库中比较好？
展开
收起
1
条回答
写回答
写回答
-
因为不知道数据规模大小，写入压力，后期对数据处理上的需求，所以方案不会很明确。
从描述来看这应该是一个losf问题，haystack,ceph 对象存储，mongoDB gridfs，HDFS，都是我们在实践中用过的，不做太多特殊优化的情况下，支撑1-10亿这个规模的数据是没太大压力的，当然，有时候应用层针对不同存储的特性做一些调整也是必须的，也是效果明显的，比如将700K调高到70000K2024-05-30 12:38:34赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
相关电子书
更多
