开发者社区> 问答> 正文

Spark中的HashShufle的具体有哪些缺点啊?

Spark中的HashShufle的具体有哪些缺点啊?

展开
收起
游客vwuxaq6iqaowc 2021-12-06 21:35:04 309 0
1 条回答
写回答
取消 提交回答
  • shuffle产生海量的小文件在磁盘上,此时会产生大量耗时的、低效的IO操作; 容易导致内存不够用,由于内存需要保存海量的文件操作句柄和临时缓存信息 容易出现数据倾斜,导致OOM

    2021-12-06 21:35:16
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载