全面解析 | 大模型时代如何利用弹性计算服务应对大算力挑战
2023年6月20日，阿里云弹性计算团队与智东西公开课联合出品的系列课程「阿里云弹性计算技术公开课」正式播出，阿里云弹性计算产品专家张新涛作为该系列课程首位主讲人，带来了主题为《大模型时代如何应对大算力挑战》的课程分享，本次课程也在阿里云官网、钉钉视频号、阿里云官方视频号、阿里云开发者视频号、阿里云创新中心直播间&视频号等多平台同步播出。
【AI系统】内存分配算法
本文探讨了AI编译器前端优化中的内存分配问题，涵盖模型与硬件内存的发展、内存划分及其优化算法。文章首先分析了神经网络模型对NPU内存需求的增长趋势，随后详细介绍了静态与动态内存的概念及其实现方式，最后重点讨论了几种节省内存的算法，如空间换内存、计算换内存、模型压缩和内存复用等，旨在提高内存使用效率，减少碎片化，提升模型训练和推理的性能。
新手入门：DGL在昇腾上的安装问题
本文介绍了在aarch64架构和Python 3.10环境下安装DGL（Deep Graph Library）的过程。首先通过`uname -a`确认硬件架构，接着使用`python --version`检查Python版本。为确保兼容性，从指定链接下载适合的whl包或通过pip安装dgl。过程中遇到了torchdata版本不兼容的问题，通过降级torchdata至0.7.1版本解决。此外，针对NPU芯片适配，重新安装了与CANN 8.0.RC2兼容的torch和torch_npu组件。最终成功导入dgl包并准备进行模型训练验证。
服务化参数调优实战
本文介绍了服务化性能调优的全流程，以Llama3-8B模型为例。首先需完成MindIE环境安装、下载模型权重与测试数据集。接着通过计算npuMemSize和maxBatchSize，maxPrefillBatchSize（272）与maxPrefillTokens，并更新配置进行性能测试。结果显示，参数调优后吞吐量提升18%。此方法为大模型性能优化提供了实用指导。
飞桨x昇腾生态适配方案：14_loop算子缺失（上）：ONNX模型拆分
本文针对NPU不支持LOOP算子的问题，提出一种解决方案：将ONNX模型拆分为含LOOP算子和不含LOOP算子的子图，单独推理LOOP部分。通过构造包含LOOP算子的ONNX模型，将其转换为JSON格式提取子图，并对子图进行修改（如添加输入节点、删除无关节点）。最后，将JSON转回ONNX格式，完成模型切分与优化。此方法适用于关键路径上的LOOP算子，可有效解决离线推理中的兼容性问题。
