WordCount 案例 Mapper| 学习笔记

简介: 快速学习 WordCount 案例 Mapper

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:WordCount 案例Mapper】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1482


WordCount 案例 Mapper

 

简介:

1、环境准备

2、编写程序

 

1、环境准备:

图片 1.png

图片 2.png

图片 5.png

图片 6.png(1)(2)在 pom.xm1 文件中添加如下依赖

<dependencies>

<dependency>

<groupId>junit</ groupId>

<artifactId>junit</ artifactId>

<version>RELEASE</ version>

</ dependency>

<dependency>

<groupId>org.apache. logging. log4j</groupId>

<artifactId>log4j-core</ artifactId>

<version>2.8.2</version>

</ dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-common</ artifactId>

<version>2.7.2</ version>

</ dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-client</ artifactId>

<version>2.7.2</ version>

</ dependency>v

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-hdfs</ artifactId>

<version>2.7.2</ version>

</ dependencv>

</dependencies>

<aroupId>orq.apache.hadoop</ aroupId>

<veision>2.7.2</ version>

</ dependency>

</dependencies>v

(2)在项目的 src/main/resources 目录下,新建一个文件,命名为“log4j.properties”,在

文件中填入。

log4j.rootLogger=INFO,stdout

log4j.appender.stdout=org.apache.log4j.ConsoleAppender

log4j.appender.stdout.layout=org.apache.

log4j.PatternLayout.log4j.appender.stdout.layout. ConversionPattern=%d sp [%c]-%m%n”

log4j.appender.logfile=org.apache

log4j.FileAppender.log4j.appender. logfile.File=target /spring .log-

log4j.appender.logfile.layout=org.apache

log4j.PatternLayout

log4j.appender.logfile.layout.ConversionPattern=%dp[%c]

-%m%n·


2、编写程序

(1)编写 Mapper 类

package com . atguigu.mapreduce;

import java.io.IOException;

irmport org.apache . hadoop.io.Intwritable;

import org.apache.hadoop.io.LongWritable;

irmport org.apache .hadoop.io.Tezt;-

import org.apache.hadoop.mapreduce.Mapper;

public class WordcountMapper extends Mapper<Longwritable,Text,Text,Intwritable>(

Text k = new Text(;

Intwritable v - new Intwritable ( 1);

override

图片 11.png

相关文章
|
2月前
|
分布式计算 Hadoop Java
hadoop编写Mapper类
【7月更文挑战第10天】
14 2
|
数据采集 分布式计算 搜索推荐
Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结(一)
Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结(一)
|
4月前
|
Java 数据格式
手写WordCount示例编写
手写WordCount示例编写
29 0
|
数据采集 缓存 分布式计算
Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结(二)
Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结(二)
|
SQL 分布式计算 Java
Spark入门以及wordcount案例代码
Spark入门以及wordcount案例代码
|
分布式计算 Hadoop Java
动手写的第一个MapReduce程序--wordcount
动手写的第一个MapReduce程序--wordcount
101 0
|
Java 数据库连接 Windows
【实践案例】Mybatis plus mapper文件中in查询配置
【实践案例】Mybatis plus mapper文件中in查询配置
711 0
|
分布式计算 Java Hadoop
WordCount 案例 Mapper| 学习笔记
快速学习 WordCount 案例 Mapper
114 0
WordCount 案例 Mapper|  学习笔记
|
分布式计算 Hadoop 开发者
WordCount 案例 Reducer| 学习笔记
快速学习 WordCount 案例 Reducer
104 0
WordCount 案例 Reducer| 学习笔记
|
存储 分布式计算 Java
WordCount 案例测试| 学习笔记
快速学习 WordCount 案例测试
160 0
WordCount  案例测试| 学习笔记