WordCount 案例 Reducer| 学习笔记

简介: 快速学习 WordCount 案例 Reducer

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:WordCount 案例 Reducer】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1483


WordCount 案例 Reducer


编写 Reducer 类

package com.atguigu.mapreduce.wordcount ;

import java.io.IOException;

import org.apache.hadoop.io.Intwritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Reducer;

Public class wordcountReducer extenas

Intwritable, Text, Intwritable>{

int aum;

IntWritable v = new Intwritable ( );

@override

protected void reduce (Text key,Iterablevalues ,Contextcontext)

Throws IOException,

InterruptedException {

/ /1累加求和,

sum = 0;

for (Intwritable count : values) {

sum +=count.get ();

}

//2输出

图片7.png

@Suppresswarnings( "unchecked")

protected void reduce(KEYIN key,Iterable<VALUEIN> values,Context contekt

) throws IOException,InterruptedException {

for(VALUEIN value: values) {

context.write((KEYOUT) key,(VALUEOUT) value);

}

protected void cleanup(Context context

) throws IOException,InterruptedException {

// NOTHING

}

reduce(context.getCurrentKey(),context.getValues(),context);// If a back up store is used,reset it

Iterator<VALUEIN> iter = context.getValues().iterator();if(iter instanceof ReduceContext.ValueIterator) {

((ReduceContext.ValueIterator<VALUEIN>)iter).resetBackupStore();}

}

}finally {

cleanup(context);

}

图片8.png

相关文章
|
2月前
|
存储 分布式计算 Hadoop
hadoop编写Reducer类
【7月更文挑战第10天】
19 3
|
2月前
|
分布式计算 Hadoop Java
Hadoop编写Combiner类
【7月更文挑战第7天】
15 3
|
SQL 分布式计算 Java
Spark入门以及wordcount案例代码
Spark入门以及wordcount案例代码
|
分布式计算 大数据 Spark
|
存储 分布式计算 Hadoop
Mapreduce中WordCount源码理解
Mapreduce中WordCount源码理解
|
分布式计算 Hadoop Java
动手写的第一个MapReduce程序--wordcount
动手写的第一个MapReduce程序--wordcount
101 0
|
资源调度 分布式计算 Java
MapReduce入门例子之WordCount单词计数
MapReduce入门例子之WordCount单词计数
151 0
MapReduce入门例子之WordCount单词计数
|
分布式计算
MapReduce编程例子之Combiner与Partitioner
MapReduce编程例子之Combiner与Partitioner
238 0
MapReduce编程例子之Combiner与Partitioner
|
分布式计算 资源调度 并行计算
|
分布式计算 Hadoop Java
WordCount 案例分析| 学习笔记
快速学习 WordCount 案例分析
129 0
WordCount 案例分析| 学习笔记