开发者社区> 问答> 正文

调用BlockStoreShuffleFetcher的fetch方法的步骤是怎样的?

调用BlockStoreShuffleFetcher的fetch方法的步骤是怎样的?

展开
收起
游客fbdr25iajcjto 2021-12-12 23:24:54 2305 0
1 条回答
写回答
取消 提交回答
  • 1) 获取map任务执行的状态信息。

    2) 按照中间结果所在节点划分各个Block。

    3) 创建ShuffleBlockFetcherIterator(即从远端节点或者本地读取中间计算结果)。

    4) 将ShuffleBlockFetcherIterator封装为InterruptibleIterator。

    2021-12-12 23:25:17
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
建立联系方法之一 立即下载
fibjs 模块重构从回调到协程--陈垒 立即下载
低代码开发师(初级)实战教程 立即下载