开发者社区> 问答> 正文

MaxCompute的MapJoin Hint的原理是什么?

MaxCompute的MapJoin Hint的原理是什么?

展开
收起
游客yzrzs5mf6j7yy 2021-12-08 18:12:14 453 0
1 条回答
写回答
取消 提交回答
  • ​ 在大表和一个或多个小表JOIN的场景下,MAPJOIN会将指定的小表全部先加载到的内存中,然后在Map阶段完成大表和小表的连接从而加快JOIN的执行速度。

    ​ MAPJOIN在Map阶段执行表连接,而不用等到Reduce阶段才执行表连接。这样就节省了大量数据传输的时间以及系统资源,从而起到了优化作业的作用。

    ​ 指定的表仅能为小表,且表被加载到内存后占用的总内存不得超过512 MB。

    通常情况下,JOIN操作在Reduce阶段执行表连接。整个JOIN过程包含Map、Shuffle和Reduce三个阶段。

    2021-12-08 18:12:29
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载