WordCount 案例 Driver| 学习笔记

简介: 快速学习 WordCount 案例 Driver

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:WordCount 案例 Driver】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1484


WordCount 案例 Driver

 

WordCount案例Driver

import

org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import

org.apache.hadoop.mapreduce.lib.output.FileoutputFormat;

public class wordcountDriver {

public static void main (string[] args) throws IOException,ClassNotFoundException,InterruptedException {

// 1获取配置信息以及封装任务

Configuration configuration = new Configuration ( );

Job job = Job.getInstance (configuration) ;

//2设置 jar 加载路径

job.setJarByClass (wordcountDriver.class) ;

//3设置 map 和 reduce 类

job.setMapperClass (wordcountMapper.class);

job.setReducerClass(wordcountReducer.class) ;

//4设置 map 输出

job.setMapoutputKeyClass (Text.class) ;

job.setMapoutputValueClass (Intwritable.class);

相关文章
|
8月前
|
SQL Java 数据库连接
Apache Zeppelin系列教程第十篇——SQL Debug In Zeppelin
Apache Zeppelin系列教程第十篇——SQL Debug In Zeppelin
126 0
|
8月前
|
SQL 分布式计算 大数据
【大数据技术Hadoop+Spark】Spark SQL、DataFrame、Dataset的讲解及操作演示(图文解释)
【大数据技术Hadoop+Spark】Spark SQL、DataFrame、Dataset的讲解及操作演示(图文解释)
184 0
|
7月前
|
分布式计算 资源调度 Java
Scala+Spark+Hadoop+IDEA实现WordCount单词计数,上传并执行任务(简单实例-下)
Scala+Spark+Hadoop+IDEA实现WordCount单词计数,上传并执行任务(简单实例-下)
82 0
|
8月前
|
SQL 分布式计算 Java
Spark 基础教程:wordcount+Spark SQL
Spark 基础教程:wordcount+Spark SQL
72 0
|
8月前
|
分布式计算 Hadoop Java
Hadoop 跑wordcount demo
Hadoop 跑wordcount demo
50 0
|
分布式计算 Hadoop Java
Hadoop学习笔记:运行wordcount对文件字符串进行统计案例
Hadoop学习笔记:运行wordcount对文件字符串进行统计案例
83 0
|
SQL 分布式计算 Java
Spark入门以及wordcount案例代码
Spark入门以及wordcount案例代码
|
分布式计算 Hadoop Java
动手写的第一个MapReduce程序--wordcount
动手写的第一个MapReduce程序--wordcount
123 0
|
存储 分布式计算 Java
WordCount 案例测试| 学习笔记
快速学习 WordCount 案例测试
181 0
WordCount  案例测试| 学习笔记
|
分布式计算 Hadoop Java
WordCount 案例分析| 学习笔记
快速学习 WordCount 案例分析
154 0
WordCount 案例分析| 学习笔记

热门文章

最新文章