开发者学堂课程【Hadoop 分布式计算框架 MapReduc:ReduceJoin 案例分析】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/94/detail/1545
ReduceJoin 案例分析
内容介绍:
1. 需求
2. 案例分析
l 输入数据
l 预期输出数据
l MapTask
l ReduceTask
1.需求
2.范例分析:Reduce 端表合并(数据倾斜)
1.输入数据
2.预期输出数据
3、MapTask
Map 中处理的事情
(1)获取输入文件类型
(2)获取输入数据
(3)不同文件分别处理
(4)封装 Bean 对象输出
4、ReduceTask
1 ) Reduce 方法缓存订单数据集合,和产品表,然后合并