开发者社区> 问答> 正文

MapReduce 优化方法数据倾斜问题是什么?

MapReduce 优化方法数据倾斜问题是什么?

展开
收起
真的很搞笑 2021-12-05 01:08:02 309 0
1 条回答
写回答
取消 提交回答
  • (1)数据倾斜现象 数据频率倾斜——某一个区域的数据量要远远大于其他区域。 数据大小倾斜——部分记录的大小远远大于平均值。 (2)如何收集倾斜数据 在 reduce 方法中加入记录 map 输出键的详细情况的功能。

    2021-12-05 01:08:52
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
MaxCompute SQL计算成本调优以及优化方法 立即下载
HBase 吞吐量提升实践 立即下载
基于HBase的海量数据查询与检索解析_游骐_202105_v3 立即下载