hadoop和spark的shuffle相同之处是什么啊？

high-level 角度： 两者并没有大的差别 都是将 mapper（Spark: ShuffleMapTask）的输出进行 partition，不同的 partition 送到不同的 reducer（Spark 里 reducer 可能是下一个 stage 里的 ShuffleMapTask，也可能是 ResultTask） Reducer 以内存作缓冲区，边 shuffle 边 aggregate 数据，等到数据 aggregate 好以后进行 reduce()。 low-level 角度： Hadoop MapReduce 是 sort-based，进入 combine() 和 reduce() 的 records 必须先 sort。 好处：combine/reduce() 可以处理大规模的数据 因为其输入数据可以通过外排得到 mapper 对每段数据先做排序 reducer 的 shuffle 对排好序的每段数据做归并 Spark 默认选择的是 hash-based，通常使用 HashMap 来对 shuffle 来的数据进行 aggregate，不提前排序 如果用户需要经过排序的数据：sortByKey()