AI基础设施的演进与挑战 | 2024生成式AI大会精彩回放

2024年4月18-19日，2024中国生成式AI大会在北京JW万豪酒店举行，阿里云高级技术专家、阿里云异构计算AI推理团队负责人李鹏受邀在【AI Infra】专场发表题为《AI基础设施的演进与挑战》的主题演讲。

李鹏在大会上谈到，大模型的发展对计算体系结构带来了功耗墙、内存墙和通讯墙等多重挑战。其中，大模型训练层面，用户在模型装载、模型并行、通信等环节面临各种现实问题，在大模型推理层面，用户在显存、带宽、量化上面临性能瓶颈。

对于如何进一步释放云上性能？阿里云弹性计算为云上客户提供了ECS GPU DeepGPU 增强工具包，帮助用户在云上高效地构建AI训练和AI推理基础设施，从而提高算力利用效率。目前，阿里云ECS DeepGPU 已经帮助众多客户实现性能的大幅提升。其中，LLM微调训练场景下性能最高可提升80% ，Stable Difussion 推理场景下性能最高可提升60%。