作者：Meta技术团队
出品：大淘宝技术
大淘宝技术团队论文入选计算机系统领域顶级国际学术会议OSDI，这是淘宝系统论文首次入选该国际顶会，论文详解了阿里历经四年、自主研发的首个端到端、通用型、规模化产业应用的端云协同机器学习系统“瓦力”——Walle。OSDI特别邀请到的David Tennenhouse在大会主旨演讲中专门推荐了Walle系统，对其技术先进性和应用落地效果赞誉有加。目前，Walle 作为阿里机器学习的基础设施支持 30+APP上 的300+个算法任务。
OSDI 会议
USENIX OSDI（Operating Systems Design and Implementation）是计算机系统领域最顶级的国际学术会议之一，被誉为操作系统领域的奥斯卡，拥有极高的学术地位和影响力，汇集了全球学术界和产业界系统领域专业人士的前沿思考和突破性成果。
今年OSDI大会特别邀请了David Tennenhouse作主旨演讲，他是IEEE Fellow，曾担任Intel、Amazon/A9.com、Microsoft、VMware等公司研究院和DARPA的首席/主管，也曾任教于MIT。David Tennenhouse在主旨演讲「1」中专门推荐了Walle系统，并在Walle talk的前后通过邮件和Slack等方式主动与作者们进行了交流。
Walle 系统命名由来
Walle（瓦力）来源于2008年电影“机器人总动员 WALL-E「2」”。在电影中，WALL-E 机器人负责对地球垃圾进行清理，变废为宝。Walle的架构者也秉持类似的初衷，希望所设计和搭建的端云协同机器学习系统能够像 WALL-E 机器人一样，有效利用数以十亿计移动端设备上的用户数据，充分释放其被忽视的价值，为用户提供更好的智能服务。
Walle 系统设计哲学
图1: 机器学习任务开发者视角中的Walle工作流程
为了打破主流基于云服务器的机器学习框架延时高、开销成本大、服务器负载高、隐私安全风险高等瓶颈，Walle采用了端云协同机器学习新范式，以充分发挥移动端设备贴近用户和数据的天然优势，实现端云优势互补。不同于端云协同学习已有工作（主要在算法层面，并针对特定应用场景中特定的机器学习推理或训练任务），Walle是首个端到端、通用型、规模化产业应用的端云协同机器学习系统。Walle支持机器学习任务在任意阶段（前处理、模型训练与推理、后处理）在端和云之间交换任意必要的信息（例如数据、特征、样本、模型、模型更新、中间结果等）协同完成任务。Walle遵循端到端的架构设计，面向机器学习任务，从开发者视角出发，覆盖了机器学习任务的研发期、部署期和运行时，并支持端侧和云侧运行时的每个阶段。此外，Walle还遵循通用型的系统设计，而非集成大量面向特定应用、特定平台的定制方案Walle向下磨平了端云设备软硬件的差异性并保证移动APP的轻量化，向上则支撑了多种类型机器学习任务的大规模产业化应用。
带你读《2022技术人的百宝黑皮书》——国际顶会OSDI首度收录淘宝系统论文， 端云协同智能获大会主旨演讲推荐（2） https://developer.aliyun.com/article/1242671?groupCode=taobaotech
