开发者社区> 问答> 正文

MapReduce中的数据压缩是什么?

MapReduce中的数据压缩是什么?

展开
收起
游客daliwbfb2wo66 2021-12-04 20:55:10 261 0
1 条回答
写回答
取消 提交回答
  • 定义:压缩技术能够有效减少底层存储系统(HDFS)读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时,I/O操作、网络数据传输、shuffle和Merge要花大量的时间,尤其是数据规模很大和工作负载密集的情况下。因此,使用数据压缩显得非常重要。

    2021-12-04 20:55:26
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
使用Apache Beam和HBase进行高效数据处理 立即下载
海量数据分布式存储——Apache HDFS之最新进展 立即下载
时序及分析在hbase上的使用 立即下载