压缩所带来的好处，磁盘、IO，都来带来很多好处，同时也有很多的弊端。
查看自己的hadoop机器是否支持压缩命令 ./hadoop checknatice
如果压缩格式后面全是false，说明Hadoop是没有编译过的。
生产环境经常用的集中压缩 gzip 、 bzip2 、LZO、Snappy
先来看下他们之间的区别，主要体现在压缩比率、压缩与解压速度、是否支持分割等方面
Format extention 压缩比到 是否支持分割
Gzip .gz 40% NO
Bzip2 .bz2 30% yes
LZO .lzo 50% yes if indexed（前提是有索引）
Snappy .snappy 50% NO
而对于我们刚刚说的速度问题，压缩比越高，压缩速度就越慢，成反比，这里就不在列图了。
下面来看下为什么要看是否支持分割呢，我们知道不管是mapreduce还是spark都会有map和reduce还有shuffer的过程，
假如一个1G的文件使用Gzip压缩后，大概是400M左右，执行mapreduce任务时，只有会生成一个task，因为不支持分割。
假如一个1G的文件使用Bzip压缩后，大概是300M左右，执行mapreduce任务时，会按照128M生成3个task，因为支持分割，
就是说压缩后，所有不支持分片的，都只能由一个task去执行。
所以在选择压缩比、压缩时间、是否分割等方面，都要做到权衡。
下面来看下压缩在hadoop的中是用，通过配置就可以了
hadoop中压缩的配置使用
core-site.xml
<property>
<name>io.compression.codecs</name>
<value>
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
</value>
</property>
MapReduce中mapred-site.xml
<property>
<name>mapreduce.output.fileoutputformat.compress</name>
<value>true</value>
</property>
<property>
<name>mapreduce.output.fileoutputformat.compress.codec</name>
<value>org.apache.hadoop.io.compress.BZip2Codec</value>
</property>
