写回答
-
推荐回答为了应对挑战，与往年相比，除了常规的 HBO 等调整之外，飞天大数据平台加速了过去 1-2 年中技术积累成果的上线，尤其是 Fuxi 2.0 首次亮相双十一，最终在单日任务量近千万、单日计算量近千 PB 的压力下，保障了基线全部按时产出。
·在平台性能优化方面，StreamlineX+Shuffle Service根据实时数据特征自动智能化匹配高效的处理模式和算法，挖掘硬件特性深度优化 IO，内存，CPU 等处理效率，在减少资源使用的同时，让全量 SQL 平均处理速度提升将近 20%，出错重试率下降至原来的几十分之一，大大提升MaxCompute 平台整体效能；，
·在分布式作业调度执行方面，对于挑战#3，DAG 2.0 提供了更敏捷的调度执行能力，和全面去阻塞能力，能为大规模的 MR 作业带来近 50% 的性能提升。同时DAG 动态框架的升级，也为分布式作业的调度执行带来了更灵活的动态能力，能根据数据的特点进行作业执行过程中的动态调整；
·在资源保障方面，为应对挑战 #4，Fuxi 对高优先级作业(主要是高优先级作业) 采取了更严格、更细粒度的资源保障措施，如资源调度的交互式抢占功能、基于时间 预估的全局最优抢占、高优先级作业全局Quota保障等。目前线上最高优先级的作业基本能在 90s 内抢占到资源；
·其他如业务调优支持等：如业务数据压测配合，与作业调优等。
以上内容摘自《“伏羲”神算》电子书，点击https://developer.aliyun.com/topic/download?id=873
2022-08-11 10:50:25赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
