开发者社区> 问答> 正文

spark中的数据倾斜的原因是什么?

spark中的数据倾斜的原因是什么?

展开
收起
游客y244y7ln2rlpa 2021-12-07 06:59:06 483 0
1 条回答
写回答
取消 提交回答
  • 数据倾斜的原因:

    数据问题

    ■1、key本身分布不均衡(包括大量的key为空)

    ■2、key的设置不合理

    spark使用问题

    1、 shuffle时的并发度不够

    2、计算方式有误

    2021-12-07 06:59:42
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载