【AI系统】计算图的优化策略
本文深入探讨了计算图的优化策略，包括算子替换、数据类型转换、存储优化等，旨在提升模型性能和资源利用效率。特别介绍了Flash Attention算法，通过分块计算和重算策略优化Transformer模型的注意力机制，显著减少了内存访问次数，提升了计算效率。此外，文章还讨论了内存优化技术，如Inplace operation和Memory sharing，进一步减少内存消耗，提高计算性能。
【AI系统】离线图优化技术
本文回顾了计算图优化的各个方面，包括基础优化、扩展优化和布局与内存优化，旨在提高计算效率。基础优化涵盖常量折叠、冗余节点消除、算子融合、算子替换和算子前移等技术。这些技术通过减少不必要的计算和内存访问，提高模型的执行效率。文章还探讨了AI框架和推理引擎在图优化中的应用差异，为深度学习模型的优化提供了全面的指导。
ORCA：基于持续批处理的LLM推理性能优化技术详解
大语言模型（LLMs）的批处理优化面临诸多挑战，尤其是由于推理过程的迭代性导致的资源利用不均问题。ORCA系统通过引入迭代级调度和选择性批处理技术，有效解决了这些问题，大幅提高了GPU资源利用率和系统吞吐量，相比FasterTransformer实现了最高37倍的性能提升。
【AI系统】ShuffleNet 系列
本文介绍了ShuffleNet系列模型，特别是其轻量化设计。ShuffleNet V1通过引入Pointwise Group Convolution和Channel Shuffle技术，在减少计算量的同时保持模型准确性。V2版本则进一步优化，考虑了设备运算速度，提出了四个轻量级网络设计原则，并通过Channel Split技术减少了内存访问成本，提升了模型效率。
【AI系统】Transformer 模型小型化
本文介绍了几种轻量级的 Transformer 模型，旨在解决传统 Transformer 参数庞大、计算资源消耗大的问题。主要包括 **MobileVit** 和 **MobileFormer** 系列，以及 **EfficientFormer**。MobileVit 通过结合 CNN 和 Transformer 的优势，实现了轻量级视觉模型，特别适合移动设备。MobileFormer 则通过并行结构融合了 MobileNet 和 Transformer，增强了模型的局部和全局表达能力。
【AI系统】推理参数
本文介绍了AI模型网络参数的基本概念及硬件性能指标，探讨了模型轻量化的重要性。随着深度学习的发展，模型参数量和计算量不断增大，导致难以直接部署到移动端。文章详细解析了FLOPs、FLOPS、MACCs等计算指标，并对比了标准卷积层、Group卷积、Depth-wise卷积和全连接层的参数计算方法，为模型优化提供了理论基础。
【AI系统】推理引擎架构
本文详细介绍了推理引擎的基本概念、特点、技术挑战及架构设计。推理引擎作为 AI 系统中的关键组件，负责将训练好的模型部署到实际应用中，实现智能决策和自动化处理。文章首先概述了推理引擎的四大特点：轻量、通用、易用和高效，接着探讨了其面临的三大技术挑战：需求复杂性与程序大小的权衡、算力需求与资源碎片化的矛盾、执行效率与模型精度的双重要求。随后，文章深入分析了推理引擎的整体架构，包括优化阶段的模型转换工具、模型压缩、端侧学习等关键技术，以及运行阶段的调度层、执行层等核心组件。最后，通过具体的开发流程示例，展示了如何使用推理引擎进行模型的加载、配置、数据预处理、推理执行及结果后处理。
【AI系统】算子开发编程语言 Ascend C
本文详细介绍了昇腾算子开发编程语言 Ascend C，旨在帮助开发者高效完成算子开发与模型调优。Ascend C 原生支持 C/C++标准，通过多层接口抽象、自动并行计算等技术，简化开发流程，提高开发效率。文章还探讨了并行计算的基本原理及大模型并行加速策略，结合 Ascend C 的 SPMD 编程模型和流水线编程范式，为读者提供了深入理解并行计算和 AI 开发的重要工具和方法。
【AI系统】CANN 算子类型
本文介绍了算子的基本概念及其在编程和数学中的作用，重点探讨了CANN算子在AI编程和神经网络中的应用，特别是华为CANN算子在AI CPU上的架构和开发要求。CANN是华为推出的异构计算架构，旨在优化AI处理器的计算效率，支持多种AI框架，涵盖AI Core和AI CPU算子，以适应不同类型的计算需求。文中还详细说明了AI CPU算子的开发流程和适用场景，为开发者提供了宝贵的指导。