开发者社区> 问答> 正文

Hadoop的缓存机制(Distributedcache)是什么呢?

Hadoop的缓存机制(Distributedcache)是什么呢?

展开
收起
游客vqgchj4kfdzsu 2021-12-06 00:10:58 438 0
1 条回答
写回答
取消 提交回答
  • 分布式缓存一个最重要的应用就是在进行join操作的时候,如果一个表很大,另一个表很小,我们就可以将这个小表进行广播处理,即每个计算节点上都存一份,然后进行map端的连接操作,经过我的实验验证,这种情况下处理效率大大高于一般的reduce端join,广播处理就运用到了分布式缓存的技术。

    2021-12-06 10:33:14
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
海量结构化和非结构化大数据Hadoop集群规划 立即下载
自建Hadoop数据如何托管到MaxCompute 立即下载
高性能Web架构之缓存体系 立即下载

相关实验场景

更多