开发者社区> 问答> 正文

mapreduce的过程中merger溢写文件是什么?

mapreduce的过程中merger溢写文件是什么?

展开
收起
芯在这 2021-12-11 10:27:45 356 0
1 条回答
写回答
取消 提交回答
  • merger溢写文件:

    如果map的输出结果非常大,则会产生多个溢出文件。此时会将多个溢写文件合并成一个文件,若有设置Combiner,则也会使用Combiner来合并相同的key。 合并后的文件存放在本地磁盘中,而不是HDFS上。

    2021-12-11 10:28:26
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Apache Flink 流式应用中状态的数据结构定义升级 立即下载
Evolving HDFS to a Generalized 立即下载
LEARNINGS USING SPARK STREAMING & DATAFRAMES FOR WALMART SEARCH 立即下载