开发者学堂课程【Hadoop 分布式计算框架 MapReduc:MapReduce 工作流程(面试重点)】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/94/detail/1512
MapReduce 工作流程(面试重点)
一、MapReduce详细工作流程(一)
1.待处理文本
/user/input ss.txt 200m
2.客户端 submit() 前,获取待处理数据的信息.然后根据参数配置,形成一个任务分配的规划。
3.提交切片信息
Job.split wc.jar Job.xml
4.计算出 MapTask 数量
5.默认 TextInputFormat
6.逻辑运算
7.向环形缓冲区写入 <k、v> 数据
8.分区、排序
9.溢出到文件(分区且区内有序)
10.Merge 归并排序
11.合并
二、MapReduce 详细工作流程(二)
10.Merge 归并排序
11.Mrappmaster
12.所有 MapTask 任务完成后。启动相应数量的 ReduceTask ,井告知 ReduceTask处理数据范围(数据分区)
13.下载到 ReduceTask 本地磁盘,合并文件,归并排序
14.一次读取一组
15.分组
16.默认 TextOutputFomal