带你读《2022技术人的百宝黑皮书》——国际顶会OSDI首度收录淘宝系统论文， 端云协同智能获大会主旨演讲推荐（4） https://developer.aliyun.com/article/1242665?groupCode=taobaotech
在Android和iOS移动端设备以及Linux服务器的主流硬件后端上对MNN与TensorFlow (Lite)和PyTorch (Mobile)进行了对比测试。测试采用了视觉、自然语言理解、推荐领域中常用的7个模型。结果表明：MNN几乎在所有测试样例中的性能都超过其他的深度学习框架。除了高性能之外，MNN还能够支持所有移动端硬件后端上每个模型的运行，而TensorFlow Lite和PyTorch Mobile则无法支持某些硬件后端或模型，因此MNN的通用性更好。
图7: MNN vs. TVM
此外还进行了MNN和TVM的对比测试，其中TVM自动调优和编译的主机是MacBook Pro 2019和NVIDIA GeForce RTX 2080 Ti。一方面，TVM的自动调优和编译大约耗时几千秒，而MNN在运行时的半自动搜索仅需要几百毫秒。进一步结合MNN和TVM在设计和实际部署上的区别（尤其是TVM在iOS设备上模型动态部署能力欠缺，详见PPT和论文），可以得出：MNN能够支持涉及大规模异构硬件后端并需要任务频繁快速迭代的产业界场景，而TVM则不可行。另一方面，在每个硬件后端上每个模型的推理时间方面，MNN也低于TVM，尤其是在GPU服务器上，这主要由于MNN中手工算子优化。
图8：Python线程级虚拟机 vs. CPython（基于线上3000万次机器学习任务执行的统计分析）
带你读《2022技术人的百宝黑皮书》——国际顶会OSDI首度收录淘宝系统论文， 端云协同智能获大会主旨演讲推荐（6） https://developer.aliyun.com/article/1242660?groupCode=taobaotech
