开发者社区> 问答> 正文

HDFS不适合大量小文件的原因是什么呢?

HDFS不适合大量小文件的原因是什么呢?

展开
收起
游客mm5dulkpivqdo 2021-12-12 23:43:55 606 0
1 条回答
写回答
取消 提交回答
  • 文件的元数据(如目录结构,文件block的节点列表,block-node mapping)保存在NameNode的内存中, 整个文件系统的文件数量会受限于NameNode的内存大小。 经验而言,一个文件/目录/文件块一般占有150字节的元数据内存空间。如果有100万个文件,每个文件占用1个文件块,则需要大约300M的内存。因此十亿级别的文件数量在现有商用机器上难以支持。

    2021-12-12 23:44:16
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
海量数据分布式存储——Apache HDFS之最新进展 立即下载
HDFS optimization for Hbase At XiaoMi 立即下载
HDFS optimization for HBase at XiaoMi 立即下载