OutPutFomat 接口实现类 | 学习笔记

简介: 快速学习 OutPutFomat 接口实现类

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:OutPutFomat 接口实现类】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/94/detail/1541


OutPutFomat 接口实现类


内容简介:

一、Outputformat 接口实现类

二、SequencefileOutputFormat

三、根据客户需求 Output

四、使用场景


一、Outputformat 接口实现类

OutputFormate 是 MapReduce 输出的基类,所有实现 MapReduce 输出都实现了 OutputFormat 接口。

下面介绍几种常见的 OutputFormat 实现类

1、文本输出 textoutputformat ,他把每条记录写为文本行。

它的键和值可以是任意类型。

因为 TextOutputFormax 调用 tostring()方法转化为字符串

二、SequencefileOutputFormat

将 SequenceFileOutputFormat 输出作为后续 Mapreduce 任务的输入,这便是一种好的输出格式,因为它的格式紧凑,很容易被压缩.

三、根据客户需求Output

自定义用户需求,自定义实现输出

Output 是输出的基类,所有实现 MapReduce 输出都实现了接口,下面接介绍几款几种常见的 Output 实现类.


1、文本输出

默认的输出的格式是 textOutputFormat,他把每条记录写为文本行。它的键和值可以是任意类型,因为 textputFormat 调用toString() 方法把它们转为字符串

2、SequenceFileFormat

将 SequenceFileOutput 输出作为后续 MapReduce 任务的输出,这便是一种好的输出,因为它格式紧凑,很容易被压缩。

3、自定义 OutputFormat


四、使用场景

1、为了实现控制最终文件的输出路径和输出格式

2、自定义 OutputFormat 的步骤

(1)自定义一个类继承 FileOutputFormat

(2)改写 RecordWriter,具体改写输出数据的方法

相关文章
|
JavaScript 前端开发
CocosCreator 面试题(二)JavaScript中的prototype的理解
CocosCreator 面试题(二)JavaScript中的prototype的理解
475 0
|
Java Maven
IDEA 2021 整合 SSM 配置离线 Maven 3.8.1 报错大全 Since Maven 3.8.1 http repositories are blocked.
IDEA 2021 整合 SSM 配置离线 Maven 3.8.1 报错大全 Since Maven 3.8.1 http repositories are blocked.
7662 0
IDEA 2021 整合 SSM 配置离线 Maven 3.8.1 报错大全 Since Maven 3.8.1 http repositories are blocked.
|
9月前
|
存储 人工智能 Java
使用Spring AI调用AI模型
Spring AI是Spring框架的模块,支持人工智能和机器学习,提供简单易用的API集成主流AI服务(如OpenAI、Azure、百度千帆等)。其主要功能包括统一API接口、提示词工程、向量存储、文本嵌入与生成。核心概念涵盖AI Client、Prompt Template和Vector Store。通过添加依赖和配置API密钥,可快速对接Chat Model并使用Advisors API增强交互体验。此外,Spring AI Alibaba项目为阿里云通义模型提供了高层次API抽象,助力开发者构建AI应用。
1397 2
|
机器学习/深度学习 存储 算法
使用Python实现深度学习模型:强化学习与深度Q网络(DQN)
使用Python实现深度学习模型:强化学习与深度Q网络(DQN)
1380 2
|
5月前
|
关系型数据库 OLAP 数据库
免费试用|Vibe Coding正当时,AnalyticDB Supabase极速开发爆款应用
云原生数据仓库AnalyticDB PostgreSQL版重磅推出Supabase托管版本
|
监控 安全 Cloud Native
云原生安全:Istio在微服务架构中的安全策略与实践
【10月更文挑战第26天】随着云计算的发展,云原生架构成为企业数字化转型的关键。微服务作为其核心组件,虽具备灵活性和可扩展性,但也带来安全挑战。Istio作为开源服务网格,通过双向TLS加密、细粒度访问控制和强大的审计监控功能,有效保障微服务间的通信安全,成为云原生安全的重要工具。
245 2
|
机器学习/深度学习 人工智能 自然语言处理
为什么要学习大模型?
本文深入探讨了大模型的学习意义、应用需求及训练方法,帮助读者理解其底层逻辑与潜力。通过类比PPT和Excel在职场中的重要性,强调掌握大模型技能对未来职业发展的关键作用。文章还分析了LLM微调的必要性及其在企业内外部场景的应用价值,如智能客服、游戏NPC等。此外,专栏专注于ChatGPT与通义千问的训练原理,提供系统化的学习路径,适合从零基础到进阶的不同人群。无论想提升工作效率还是从事相关工程开发,都能从中受益。内容收录于[Github](https://github.com/Java-Edge/Java-Interview-Tutorial),欢迎关注!
514 0
为什么要学习大模型?
|
存储 JSON 网络协议
Docker面试整理-如何查看和管理Docker容器的日志?
通过本文的介绍,我们了解了如何查看和管理Docker容器的日志,包括使用 `docker logs`命令、配置日志驱动、设置日志选项和集中日志管理。掌握这些技能,不仅可以在面试中展示专业水平,也能在实际工作中高效
2198 3
|
存储 弹性计算
阿里云服务器系统盘存储空间不够用怎么办?
当阿里云服务器系统盘空间不足时,您可以通过系统盘扩容或挂载数据盘解决。系统盘扩容无需重启服务器,详细步骤见系统盘扩容教程。挂载数据盘需预先购买,并确保与服务器位于同一地域和可用区,最多可挂载64块,详情见挂载数据盘教程
2669 6
|
Kubernetes Shell API
技术笔记:K8s中大量Pod是Evicted状态,这是咋回事?
技术笔记:K8s中大量Pod是Evicted状态,这是咋回事?
904 0