压缩参数设置|学习笔记

简介: 快速学习 压缩参数设置

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:压缩参数设置】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1560


压缩参数设置


要在中启用压缩可以配置如下参数:

(1)参数:io.compression.codecs(在 core-site.xml 中配置)

默认值:org.apache.hadoop.io.compress.DefaultCodec,

org.apache.hadoop.io.compress.GzipCodec

org.apache.hadoop.io.compress.BZip2Codec

阶段:输入压缩

建议:Hadoop 使用文件扩展名判断是否支持某种编解码器

(2)参数:mapreduce.map.output.compress(在mapred-site.xml 中配置)

默认值:false

阶段:mapper 输出

建议:这个参数设为 true 启用压缩

(3)参数:mapreduce.map.output.compress.codes(在mapred-site.xml 中配置)

默认值:org.apache.hadoop.io.compress.DefaultCodec,

阶段:mapper 输出

建议:企业多使用 LZO

相关文章
|
6月前
7z压缩测试
7z压缩测试
34 0
|
9月前
防止图片重复下载方案,图像压缩保存与压缩显示
防止图片重复下载方案,图像压缩保存与压缩显示
85 0
|
9月前
|
监控 算法 数据安全/隐私保护
使用Python实现批量文件的压缩处理
使用Python实现批量文件的压缩处理
116 0
|
存储
HDFS 文件块的大小为什么不能设置太小、也不能设置太大?
HDFS 文件块的大小为什么不能设置太小、也不能设置太大?
351 0
|
算法 Java
25-【扩展补充】JVM 三色标记 增量更新 原始快照
本文将介绍JVM中的三色标记算法、增量更新和原始快照的概念。 首先,我们将深入探讨JVM中的三色标记算法。这种垃圾回收算法基于可达性分析,将对象分为三个状态:白色、灰色和黑色。通过标记对象的可达性,垃圾回收器可以确定哪些对象可以安全地回收,从而有效地管理内存。 接下来,我们将介绍增量更新技术。增量更新是一种垃圾回收的优化方法,它将垃圾回收过程分为多个阶段,并与应用程序交替执行。通过这种方式,增量更新可以减少垃圾回收的停顿时间,提高应用程序的响应性能。
262 0
|
算法
HIMA Z7138 通过将未使用的参数设置为零来实现
HIMA Z7138 通过将未使用的参数设置为零来实现
HIMA Z7138 通过将未使用的参数设置为零来实现
|
XML 安全 Android开发
【Android 安装包优化】开启资源压缩 ( 资源压缩配置 | 启用严格模式的资源引用检查 | 自定义保留/移除资源配置 | 资源压缩效果 )
【Android 安装包优化】开启资源压缩 ( 资源压缩配置 | 启用严格模式的资源引用检查 | 自定义保留/移除资源配置 | 资源压缩效果 )
306 0
【Android 安装包优化】开启资源压缩 ( 资源压缩配置 | 启用严格模式的资源引用检查 | 自定义保留/移除资源配置 | 资源压缩效果 )
|
图形学 异构计算
Unity 之 纹理类型导入设置和压缩格式介绍
你知道纹理导入正确设置和各平台压缩格式吗?本文教你如何将纹理资源导入到Unity并为其设置为对应平台需要使用的压缩格式,一起来看看吧~
917 0
Unity 之 纹理类型导入设置和压缩格式介绍
|
监控 算法 Cloud Native
开发函数计算的正确姿势——使用 brotli 压缩大文件
函数计算对上传的 zip 代码包尺寸限制为 50M。某些场景中代码包中会超过这一限制,比如未经裁剪的 serverless-chrome,类似的还有 libreoffice ,此外常见的还有机器学习训练的模型文件。本文会比较几种常见的解决大文件的方案,并重点介绍借助 brotli 提高压缩比的方法。
开发函数计算的正确姿势——使用 brotli 压缩大文件