开发者社区> 问答> 正文

MaxComputer中经典word_count的长尾如何解决?

MaxComputer中经典word_count的长尾如何解决?

展开
收起
芯在这 2021-12-12 20:22:04 289 0
1 条回答
写回答
取消 提交回答
  • 经典word_count的长尾:

    SELECT a.key

    , COUNT(*) AS cnt

    FROM a

    GROUP BY a.key

      使用groupby参数,进行热点Key的打散:

    set odps.sql.groupby.skewindata=true

      此方法仅对长尾问题比较严重的有效!(分钟级内慎用!)

    2021-12-12 20:22:20
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
李劲松|Flink Table Store 典型应用场景 立即下载
RowKey与索引设计:技巧与案例分析 立即下载
Quanta:Quora的HBase分层计数系统 立即下载