【AI系统】AI系统的组成
本文详细解析了AI系统的多层次架构，涵盖应用与开发层、AI框架层、编译与运行时及硬件体系结构等，阐述各部分如何协同支撑AI应用的开发与运行，提升整体性能与效率，并随著AI技术进步持续演进。从编程语言到AI芯片设计，每一层都对系统的最终表现起着至关重要的作用。
【AI系统】数据并行
数据并行是一种在分布式AI系统中广泛应用的技术，通过将数据集划分成多个子集并在不同计算节点上并行处理，以提高计算效率和速度。在大规模机器学习和深度学习训练中，数据并行可以显著加快模型训练速度，减少训练时间，提升模型性能。每个计算节点接收完整的模型副本，但处理不同的数据子集，从而分摊计算任务，提高处理速度和效率。数据并行按同步方式可分为同步数据并行和异步数据并行，按实现方式包括数据并行、分布式数据并行、完全分片的数据并行等。其中，分布式数据并行（DDP）是当前应用最广泛的并行算法之一，通过高效的梯度聚合和参数同步机制，确保模型一致性，适用于大型NPU集群和AI系统。
NPU上如何使能pytorch图模式
本文介绍了PyTorch的`torch.compile`技术和TorchAir的相关内容。`torch.compile`通过将动态图转换为静态图并结合JIT编译，提升模型推理和训练效率。示例代码展示了如何使用`torch.compile`优化模型。TorchAir是昇腾为PyTorch提供的图模式扩展库，支持在昇腾设备上进行高效训练和推理。它基于Dynamo特性，将计算图转换为Ascend IR，并通过图引擎优化执行。文章还提供了TorchAir的使用示例及功能配置方法。
NPU适配推荐系统GR模型流程
本示例将开源Generative Recommendations模型迁移至NPU训练，并通过HSTU融合算子优化性能。基于Atlas 800T A2平台，使用PyTorch 2.1.0、Python 3.11.0等环境。文档涵盖容器启动、依赖安装、算子适配、源码修改、数据预处理及配置文件设置等内容。性能测试显示，使用HSTU融合算子可显著降低端到端耗时（如ml_1m数据集单step从346ms降至47.6ms）。
云数据中心专用处理器CIPU正式发布
"在峰会上正式发布的云数据中心专用处理器CIPU（Cloud infrastructure Processing Units），
作为一款专门为新型云数据中心设计的专用处理器，CIPU的使命就是替代传统CPU，成为云时代数据中心的处理核心。在这个全新体系架构下，CIPU向下对数据中心的计算、存储、网络资源快速云化并进行硬件加速，向上接入飞天云操作系统，将全球数百万台服务器连成一台超级计算机。"
