WordCount 案例 Reducer| 学习笔记

简介: 快速学习 WordCount 案例 Reducer

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:WordCount 案例 Reducer】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1483


WordCount 案例 Reducer


编写 Reducer 类

package com.atguigu.mapreduce.wordcount ;

import java.io.IOException;

import org.apache.hadoop.io.Intwritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Reducer;

Public class wordcountReducer extenas

Intwritable, Text, Intwritable>{

int aum;

IntWritable v = new Intwritable ( );

@override

protected void reduce (Text key,Iterablevalues ,Contextcontext)

Throws IOException,

InterruptedException {

/ /1累加求和,

sum = 0;

for (Intwritable count : values) {

sum +=count.get ();

}

//2输出

图片7.png

@Suppresswarnings( "unchecked")

protected void reduce(KEYIN key,Iterable<VALUEIN> values,Context contekt

) throws IOException,InterruptedException {

for(VALUEIN value: values) {

context.write((KEYOUT) key,(VALUEOUT) value);

}

protected void cleanup(Context context

) throws IOException,InterruptedException {

// NOTHING

}

reduce(context.getCurrentKey(),context.getValues(),context);// If a back up store is used,reset it

Iterator<VALUEIN> iter = context.getValues().iterator();if(iter instanceof ReduceContext.ValueIterator) {

((ReduceContext.ValueIterator<VALUEIN>)iter).resetBackupStore();}

}

}finally {

cleanup(context);

}

图片8.png

相关文章
|
6月前
|
存储 分布式计算 Hadoop
hadoop编写Reducer类
【7月更文挑战第10天】
55 3
|
存储 缓存 分布式计算
Spark学习--3、WordCount案例、RDD序列化、RDD依赖关系、RDD持久化(一)
Spark学习--3、WordCount案例、RDD序列化、RDD依赖关系、RDD持久化(一)
|
存储 缓存 分布式计算
Spark学习--3、WordCount案例、RDD序列化、RDD依赖关系、RDD持久化(二)
Spark学习--3、WordCount案例、RDD序列化、RDD依赖关系、RDD持久化(二)
|
SQL 分布式计算 Java
Spark入门以及wordcount案例代码
Spark入门以及wordcount案例代码
|
分布式计算 大数据 Spark
|
存储 分布式计算 Hadoop
Mapreduce中WordCount源码理解
Mapreduce中WordCount源码理解
|
分布式计算 Hadoop Java
动手写的第一个MapReduce程序--wordcount
动手写的第一个MapReduce程序--wordcount
123 0
|
资源调度 分布式计算 Java
MapReduce入门例子之WordCount单词计数
MapReduce入门例子之WordCount单词计数
185 0
MapReduce入门例子之WordCount单词计数
|
分布式计算
MapReduce编程例子之Combiner与Partitioner
MapReduce编程例子之Combiner与Partitioner
268 0
MapReduce编程例子之Combiner与Partitioner
|
分布式计算 Spark
Spark RDD的实操教程(二)
Spark RDD的实操教程(二)
248 0
Spark RDD的实操教程(二)

热门文章

最新文章