写回答
-
推荐回答在 MaxCompute SQL 中，它主要用于管理全集群所有作业 Streamline 数据的底层传输方式和物理分布。调度到不同机器上成千上万的 Worker 需要通过精准的数据 传递，才能协作完成整体的任务。在服务 MaxCompute 这样的数据大户时，能否高效、稳定地完成每天 10 万台机器上千万量级 Worker 间传输几百 PB 数据量的数据 shuffle 工作，很大意义上决定了集群整体的性能和资源利用效率。Shuffle Service 放弃了以磁盘文件为基础的主流 shuffle 文件存储方式，突破了机械硬盘上文件随机读的性能和稳定性短板；
基于 shuffle 数据动态调度的思想，令 shuffle 流程成为了作业运行时实时优化的数据流向、排布和读取的动态决策。对准实时作业，通过解构 DAG 上下游调度相比 network shuffle 性能相当，资源消耗降低 50%+。
以上内容摘自《“伏羲”神算》电子书，点击https://developer.aliyun.com/topic/download?id=873
2022-08-11 10:51:22赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
