开发者社区> 问答> 正文

JindoFS 缓存服务的优势是什么?

JindoFS 缓存服务的优势是什么?

展开
收起
游客fbdr25iajcjto 2021-12-12 22:52:53 2316 0
1 条回答
写回答
取消 提交回答
  • 1.弹性运维。

    HDFS 使用 DataNode 在存储节点上来管理节点存储,全部数据块都存储在节点的磁盘上,依靠 DataNode 定期检查和心跳把存储状态上报给 NameNode,NameNode 通过汇总和计算,动态地保证文件的数据块达到设定的副本数(一般 3 副本)。对于大规模集群(节点 1000+),经常需要进行集群节点扩容,节点迁移,节点下线,节点数据平衡这样的操作,大量的数据块的副本计算增加了 NameNode 负载,同时,节点相关操作要等待 NameNode 内部的副本调度完成才能进行,通常一个存储节点的下线需要小时级别的等待才能完成。JindoFS 使用 StorageService 来管理节点上的存储,由于 JindoFS 保证了数据在 OSS 上有一副本,所以本地的副本主要用来进行缓存加速。对于节点迁移、节点下线等场景,JindoFS 无需复杂副本计算,通过快速的“标记”即可完成下线。

    2高性能存储。

    StorageService 采用 C++ 语言开发,在对接最新高性能存储硬件上也有着天然优势。StorageService 的存储后端不仅可以同时对接SSD、本磁盘、OSS 满足 Hadoop/Spark 大数据框架各种海量、高性能的存储访问需求,可以对接内存、AEP 这样的高性能设备满足 AI/机器学习的低延时、高吞吐的存储使用需求。

    2021-12-12 22:54:44
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
基于英特尔 SSD 的虚拟机缓存解决SSD 立即下载
用户态高速块缓存方案 立即下载
高性能Web架构之缓存体系 立即下载