自定义 outformat 案例实现 | 学习笔记

简介: 快速学习自定义 outformat 案例实现

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:自定义 outformat 案例实现】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/94/detail/1543


自定义 outformat 案例实现


一、案例实现

1.编写 FilterMapper 类

图片20.png

防止有重复的数据

2、输入数据

3、自定义一个 OutputFormat 类

Return new(job)

创建

图片21.png

用完一个对象,上传数据,方便之后操作

创建两个文件输出流:atguiguOut、otherOut

1、获取文件系统,获得输出流

2、创建输出到 atguigu.log 的输出

3.创建输出到 other.log 的输出

图片22.png

4、判断key当中是否 atguigu,如果有写到 atguigu.如果没有写出到other.log

5、Atguigu 输出流

6、将自定义的输出格式设置到 job

7、指定一个输出目录

8、防止有重复的数据

图片23.png

相关文章
|
并行计算 TensorFlow 算法框架/工具
TensorFlow识别GPU难道就这么难吗?还是我的GPU有问题?
TensorFlow识别GPU难道就这么难吗?还是我的GPU有问题?
|
数据安全/隐私保护
【Nest教程】Nest项目配置邮件服务器,实现发送邮件
【Nest教程】Nest项目配置邮件服务器,实现发送邮件
831 0
【Nest教程】Nest项目配置邮件服务器,实现发送邮件
|
机器学习/深度学习 自然语言处理 测试技术
CoT神话破灭,并非LLM标配!三大学府机构联手证实,CoT仅在数学符号推理有用
【10月更文挑战第17天】链式思维(CoT)曾被认为是大型语言模型(LLM)激发推理能力的关键方法,但最新研究显示,CoT仅在数学和符号推理任务中有效,其他任务中效果不明显。加州大学伯克利分校、斯坦福大学和卡内基梅隆大学的联合研究打破了CoT作为LLM标配的神话,为重新评估LLM的推理能力提供了新视角。
324 1
|
机器学习/深度学习 PyTorch TensorFlow
使用Python实现智能食品质量检测的深度学习模型
使用Python实现智能食品质量检测的深度学习模型
576 1
|
缓存 运维 前端开发
前端必备的运维知识点
【8月更文挑战第25天】前端必备的运维知识点
486 1
|
存储 关系型数据库 MySQL
|
JavaScript Linux
【Azure App Service for Linux】NodeJS镜像应用启动失败,遇见 RangeError: Incorrect locale information provided
【Azure App Service for Linux】NodeJS镜像应用启动失败,遇见 RangeError: Incorrect locale information provided
302 0
|
存储 数据管理 数据库
现代数据库技术中的分布式一致性问题与解决方案探讨
分布式系统在现代数据库技术中扮演着重要角色,但分布式环境下的数据一致性问题始终是挑战之一。本文深入探讨了分布式一致性的核心概念、各种一致性模型的特点及其在实际应用中的优缺点,旨在为技术从业者提供全面的视角和实用的解决方案。
@Pointcut 使用
@Pointcut 使用
264 1
|
SQL 传感器 分布式计算
Flink(五)【DataStream 转换算子(上)】
Flink(五)【DataStream 转换算子(上)】