【AI系统】为什么需要 AI 编译器
本文探讨了AI编译器的黄金年代及其必要性，通过对比传统编译器与AI编译器的区别，揭示了AI编译器在处理复杂神经网络模型时的优化能力和对异构计算平台的支持。随着AI硬件的多样化和软件碎片化问题的加剧，AI编译器成为连接上层应用与底层硬件的关键桥梁，旨在提高性能、降低成本并增强软件的可移植性。
【AI系统】AI 芯片的思考
为了应对数据中心算力需求，谷歌自2014年起研发TPU，专为深度学习设计的硬件加速器。TPU加速了谷歌的机器学习任务，尤其在大模型训练和推理方面表现突出。大卫·帕特森教授加入谷歌TPU团队后，分享了TPU发展历程及技术心得，强调了AI模型对内存和算力需求的快速增长、模型结构的快速演变、生产部署中的多租户需求、SRAM与DRAM的权衡、内存优化的重要性、DSA的专业与灵活性、半导体供应链选型、编译器优化及AI应用兼容性等方面的关键挑战与解决方案。
【AI系统】从 CUDA 对 AI 芯片思考
本文从技术角度探讨英伟达生态，特别是CUDA与SIMT的关系及其对AI芯片DSA架构的影响。通过分析流水编排、SIMT前端、分支预测及交互方式，指出英伟达CUDA的成功在于其硬件设计与软件易用性的结合，为未来AI芯片的设计提供了宝贵的经验和启示。
【AI系统】CUDA 编程模式
本文介绍了英伟达GPU的CUDA编程模型及其SIMT执行模式，对比了SIMD和SIMT的特点，阐述了SIMT如何提高并行计算效率和编程灵活性。同时简要提及了AMD的GPU架构及编程模型，包括最新的MI300X和ROCm平台。
【AI系统】芯片的编程体系
本文探讨了SIMD与SIMT的区别及联系，分析了SIMT与CUDA编程的关系，深入讨论了GPU在SIMT编程的本质及其与DSA架构的关系。文章还概述了AI芯片的并行分类与并行处理硬件架构，强调了理解AI芯片编程体系的重要性，旨在帮助开发者更高效地利用AI芯片算力，促进生态繁荣。
【AI系统】昇腾 AI 处理器
本文介绍华为昇腾AI处理器的架构与卷积加速原理，基于达芬奇架构设计，支持云边端一体化解决方案，具备高能效比和强大的3D Cube矩阵计算单元。文章详细解析了昇腾AI处理器的核心组件及其高效的数据处理机制，旨在通过软硬件优化实现高效的卷积计算加速。
【AI系统】寒武纪介绍
中科寒武纪科技股份有限公司，成立于2016年，致力于打造云边端一体、软硬件协同的智能芯片产品和平台化基础系统软件。寒武纪的产品线涵盖了终端智能处理器IP、边缘端和云端智能加速卡，形成了从1A处理器核到思元系列MLU100、MLU200、MLU300的完整布局。其核心技术包括高效的MLU Core架构和Cambricon Neuware软件栈，支持高性能AI计算，助力机器更好地理解和服务人类。
【AI系统】谷歌 TPU v4 与光路交换
TPU v4 是谷歌在 TPU v3 发布四年后推出的最新一代 AI 加速器，采用了 7nm 工艺，MXU 数量翻倍，内存容量和带宽显著提升。TPU v4 引入了 Sparse Core 以优化稀疏计算，首次采用了 3D Torus 互联方式，通过 Palomar 光路开关芯片减少系统延迟和功耗。TPU v4 Pod 实现了 1.126 Exaflops 的 BF16 峰值算力，展现了谷歌在大规模并行计算领域的突破。然而，TPU v4 也面临着系统成熟度低、拓扑僵硬和负载均衡问题等挑战。
【AI系统】谷歌 TPU v2 训练芯片
2017年，谷歌推出TPU v2，专为神经网络训练设计，标志着从推理转向训练的重大转变。TPU v2引入多项创新，包括Vector Memory、Vector Unit、MXU及HBM内存，以应对训练中数据并行、计算复杂度高等挑战。其高效互联技术构建了TPU v2超级计算机，显著提升大规模模型训练的效率和性能。
【AI系统】谷歌 TPU v3 POD 形态
TPU v3 是 TPU v2 的增强版，主要改进包括：MXU 数量翻倍至 4 个，时钟频率提升 30%，内存带宽扩大 30%，容量翻倍，芯片间带宽增加 30%，可连接节点数增至 4 倍。TPU v3 通过采用水冷系统，不仅提高了功率，还优化了温度管理，显著提升了计算能力和能效。TPU v3 Pod 由 1024 个 TPU v3 组成，算力达 100 PFLOPS，适用于大规模神经网络训练。