ZOMI酱_个人页

2024年12月

• 12.02 19:00:01
  发表了文章 2024-12-02 19:00:01

  【AI系统】图算 IR

  本文全面介绍了计算图的概念及其在AI框架中的应用，涵盖计算图的基本构成、与自动微分的关系、静态图与动态图的生成及特点，以及计算图对AI编译器的重要作用。文章详细解析了计算图的结构，包括张量和算子的角色，探讨了AI框架如何通过计算图实现自动微分，同时对比了静态图和动态图的优缺点，指出了计算图在优化AI编译器性能方面的关键作用。
• 12.02 18:54:38
  发表了文章 2024-12-02 18:54:38

  【AI系统】AI编译器前瞻

  本文基于《The Deep Learning Compiler: A Comprehensive Survey》调研，对比了TVM、nGraph、TC、Glow和XLA五个热门AI编译器，介绍了它们的特点和应用场景。文章分析了AI编译器面临的挑战，包括动态Shape问题、Python编译静态化、发挥硬件性能、特殊优化方法及易用性与性能兼顾问题，并展望了AI编译器的未来，探讨了编译器形态、IR形态、自动并行、自动微分及Kernel 自动生成等方面的发展趋势。
• 12.02 18:04:04
  发表了文章 2024-12-02 18:04:04

  【AI系统】AI 编译器基本架构

  本文承接前文关于AI编译器发展的三个阶段，深入探讨通用AI编译器架构。文章首先回顾现有AI编译器架构，如PyTorch的转换流程及优化策略，然后介绍理想化的通用AI编译器架构，涵盖从前端接收多框架模型输入到后端生成特定硬件代码的全过程。重点解析了编译器的中间表达IR、前端与后端优化技术，以及现有AI编译器全栈产品的层次结构，为读者提供了全面的技术概览。
• 12.02 18:00:48
  发表了文章 2024-12-02 18:00:48

  【AI系统】AI 编译器历史阶段

  本文概述了AI编译器的发展历程，从朴素AI编译器、专用AI编译器到未来的通用AI编译器，详细介绍了各阶段的技术特点与优化目标。AI编译器旨在优化AI和机器学习应用，通过多层IR设计、面向神经网络的深度优化及对DSA芯片的支持，实现高性能计算。随着技术的进步，通用AI编译器将实现计算图与算子的统一表达、自动化优化及模块化设计，推动AI技术的广泛应用和发展。
• 12.02 17:57:09
  发表了文章 2024-12-02 17:57:09

  【AI系统】为什么需要 AI 编译器

  本文探讨了AI编译器的黄金年代及其必要性，通过对比传统编译器与AI编译器的区别，揭示了AI编译器在处理复杂神经网络模型时的优化能力和对异构计算平台的支持。随着AI硬件的多样化和软件碎片化问题的加剧，AI编译器成为连接上层应用与底层硬件的关键桥梁，旨在提高性能、降低成本并增强软件的可移植性。
• 12.02 17:04:36
  发表了文章 2024-12-02 17:04:36

  【AI系统】LLVM 后端代码生成

  本文介绍 LLVM 后端的代码生成过程，包括将优化后的 LLVM IR 转换为目标代码的关键步骤，如指令选择、寄存器分配、指令调度等，以及后端如何支持不同硬件平台的代码生成。
• 12.02 16:59:15
  发表了文章 2024-12-02 16:59:15

  【AI系统】LLVM 前端和优化层

  本文介绍了 LLVM 编译器的核心概念——LLVM IR，并详细讲解了 LLVM 的前端 Clang 如何将 C、C++ 等高级语言代码转换为 LLVM IR。文章还探讨了编译过程中的词法分析、语法分析和语义分析三个关键步骤，以及 LLVM 优化层的 Pass 机制，包括分析 Pass 和转换 Pass 的作用及依赖关系。
• 12.02 16:51:06
  发表了文章 2024-12-02 16:51:06

  【AI系统】LLVM IR 详解

  本文深入探讨了LLVM IR（中间表示）的概念，解释了其在编译器中的重要性和作用。LLVM IR作为一种抽象程度适中的中间语言，不仅涵盖了源代码的大部分信息，还支持编译器进行灵活的代码优化。文章进一步解析了LLVM IR的三地址码表示及其优点，并通过具体示例展示了LLVM IR的设计原则和内存模型，帮助读者更好地理解编译器内部的工作机制。
• 12.02 16:28:57
  发表了文章 2024-12-02 16:28:57

  【AI系统】LLVM IR 基本概念

  本文深入探讨了LLVM的IR（中间表示）概念，解释了其在编译器工作原理中的重要性及应用方式。LLVM IR作为一种适中抽象级别的表示形式，能有效捕捉源代码信息，支持编译器的灵活操作与优化。文章进一步分析了LLVM IR的不同表现形式，包括内存中的编译中间语言、硬盘上的二进制格式和人类可读的文本格式，以及通过具体示例展示了如何使用Clang将C语言程序编译为LLVM IR。此外，还详细解析了LLVM IR的基本语法、条件语句、循环结构和指针操作等内容。
• 12.02 16:15:42
  发表了文章 2024-12-02 16:15:42

  【AI系统】LLVM 架构设计和原理

  本文介绍了LLVM的诞生背景及其与GCC的区别，重点阐述了LLVM的架构特点，包括其组件独立性、中间表示（IR）的优势及整体架构。通过Clang+LLVM的实际编译案例，展示了从C代码到可执行文件的全过程，突显了LLVM在编译器领域的创新与优势。
• 12.02 15:13:57
  发表了文章 2024-12-02 15:13:57

  【AI系统】GCC 主要特征

  GCC（GNU Compiler Collection）是由理查德·斯托曼于1987年创建，最初作为GNU项目的一部分，旨在为GNU/Linux系统提供高效C语言编译器。随着时间发展，GCC不仅支持多种编程语言如C++、Java、Swift等，还具备强大的可移植性、模块化设计及跨平台交叉编译能力，成为全球广泛使用的开源编译器之一。其编译过程分为预处理、编译、汇编和链接四个阶段，支持静态和动态链接方式，适用于本地编译和交叉编译场景。
• 12.02 15:09:03
  发表了文章 2024-12-02 15:09:03

  【AI系统】传统编译器发展

  编译技术是计算机科学的重要组成部分，作为基础软件的核心，它将高级语言转换为机器码，极大提高了编程效率。从1957年的IBM Fortran开始，编译器经历了多个发展阶段，包括结构化程序设计、面向对象编程、并行计算及AI应用等，形成了如今如GCC、LLVM等成熟的编译体系。未来，随着多语言融合和跨平台需求的增长，编译技术将继续演进，支持更多新兴语言和平台。
• 12.02 15:01:47
  发表了文章 2024-12-02 15:01:47

  【AI系统】编译器基础介绍

  随着深度学习的发展，AI模型和硬件技术不断演进，开发者面临如何有效利用算力及应对AI框架迭代的挑战。AI编译器成为解决这些问题的关键技术，它帮助用户专注于上层模型开发，减少手动优化性能的成本，最大化硬件效能。本文探讨编译器基础概念，解释编译器与AI框架的关系，介绍编译器与解释器的区别，以及AOT和JIT编译方式的特点和在AI框架中的应用。通过分析Pass和中间表示IR的作用，进一步理解编译器在AI领域的核心价值。
• 12.02 14:47:56
  发表了文章 2024-12-02 14:47:56

  【AI系统】AI 芯片的思考

  为了应对数据中心算力需求，谷歌自2014年起研发TPU，专为深度学习设计的硬件加速器。TPU加速了谷歌的机器学习任务，尤其在大模型训练和推理方面表现突出。大卫·帕特森教授加入谷歌TPU团队后，分享了TPU发展历程及技术心得，强调了AI模型对内存和算力需求的快速增长、模型结构的快速演变、生产部署中的多租户需求、SRAM与DRAM的权衡、内存优化的重要性、DSA的专业与灵活性、半导体供应链选型、编译器优化及AI应用兼容性等方面的关键挑战与解决方案。
• 12.02 14:27:44
  发表了文章 2024-12-02 14:27:44

  【AI系统】从 CUDA 对 AI 芯片思考

  本文从技术角度探讨英伟达生态，特别是CUDA与SIMT的关系及其对AI芯片DSA架构的影响。通过分析流水编排、SIMT前端、分支预测及交互方式，指出英伟达CUDA的成功在于其硬件设计与软件易用性的结合，为未来AI芯片的设计提供了宝贵的经验和启示。
• 12.02 14:08:22
  发表了文章 2024-12-02 14:08:22

  【AI系统】CUDA 编程模式

  本文介绍了英伟达GPU的CUDA编程模型及其SIMT执行模式，对比了SIMD和SIMT的特点，阐述了SIMT如何提高并行计算效率和编程灵活性。同时简要提及了AMD的GPU架构及编程模型，包括最新的MI300X和ROCm平台。
• 12.02 11:55:35
  发表了文章 2024-12-02 11:55:35

  【AI系统】SIMD & SIMT 与 CUDA 关系

  本文深入解析了AI芯片中SIMD和SIMT的计算本质，基于NVIDIA CUDA实现的对比，探讨了不同并行编程模型，包括串行(SISD)、数据并行(SIMD)和多线程(MIMD/SPMD)。文章详细介绍了各模型的特点及应用场景，特别强调了英伟达GPU中的SIMT机制如何通过SPMD编程模型实现高效并行计算，以及SIMD、SIMT、SPMD之间的关系和区别。
• 12.02 11:44:52
  发表了文章 2024-12-02 11:44:52

  【AI系统】SIMD & SIMT 与芯片架构

  本文深入解析了SIMD（单指令多数据）与SIMT（单指令多线程）的计算本质及其在AI芯片中的应用，特别是NVIDIA CUDA如何实现这两种计算模式。SIMD通过单指令对多个数据进行操作，提高数据并行处理能力；而SIMT则在GPU上实现了多线程并行，每个线程独立执行相同指令，增强了灵活性和性能。文章详细探讨了两者的硬件结构、编程模型及硬件执行模型的区别与联系，为理解现代AI计算架构提供了理论基础。

2024年11月

• 11.29 18:27:58
  发表了文章 2024-11-29 18:27:58

  【AI系统】芯片的编程体系

  本文探讨了SIMD与SIMT的区别及联系，分析了SIMT与CUDA编程的关系，深入讨论了GPU在SIMT编程的本质及其与DSA架构的关系。文章还概述了AI芯片的并行分类与并行处理硬件架构，强调了理解AI芯片编程体系的重要性，旨在帮助开发者更高效地利用AI芯片算力，促进生态繁荣。
• 11.29 18:22:39
  发表了文章 2024-11-29 18:22:39

  【AI系统】昇腾数据布局转换

  华为昇腾NPU采用独特的NC1HWC0五维数据格式，旨在优化AI处理器的矩阵乘法运算和访存效率。此格式通过将C维度分割为C1份C0，适应达芬奇架构的高效计算需求，支持FP16和INT8数据类型。此外，昇腾还引入了NZ分形格式，进一步提升数据搬运和矩阵计算效率。AI编译器通过智能布局转换，确保在不同硬件上达到最优性能。
• 11.29 17:48:18
  发表了文章 2024-11-29 17:48:18

  【AI系统】昇腾 AI 核心单元

  本文深入解析了华为昇腾AI处理器的核心——AI Core及其达芬奇架构。AI Core采用特定域架构（DSA），专为深度学习算法优化，通过矩阵、向量和标量计算单元的高效协作，实现了对深度学习算法的加速。文章详细介绍了AI Core的计算单元、存储系统及控制单元的设计，展示了其如何通过优化数据通路和控制流程，显著提升计算性能。
• 11.29 17:30:11
  发表了文章 2024-11-29 17:30:11

  【AI系统】昇腾 AI 处理器

  本文介绍华为昇腾AI处理器的架构与卷积加速原理，基于达芬奇架构设计，支持云边端一体化解决方案，具备高能效比和强大的3D Cube矩阵计算单元。文章详细解析了昇腾AI处理器的核心组件及其高效的数据处理机制，旨在通过软硬件优化实现高效的卷积计算加速。
• 11.29 17:13:37
  发表了文章 2024-11-29 17:13:37

  【AI系统】昇腾 AI 架构介绍

  昇腾计算产业基于华为昇腾系列处理器，涵盖硬件、基础软件、应用使能等，构建全栈AI计算基础设施。华为通过开放硬件、开源软件，支持多框架，推动AI技术在端、边、云的广泛应用，促进AI产业生态繁荣。
• 11.29 16:31:32
  发表了文章 2024-11-29 16:31:32

  【AI系统】寒武纪介绍

  中科寒武纪科技股份有限公司，成立于2016年，致力于打造云边端一体、软硬件协同的智能芯片产品和平台化基础系统软件。寒武纪的产品线涵盖了终端智能处理器IP、边缘端和云端智能加速卡，形成了从1A处理器核到思元系列MLU100、MLU200、MLU300的完整布局。其核心技术包括高效的MLU Core架构和Cambricon Neuware软件栈，支持高性能AI计算，助力机器更好地理解和服务人类。
• 11.29 15:53:04
  发表了文章 2024-11-29 15:53:04

  【AI系统】谷歌 TPU v4 与光路交换

  TPU v4 是谷歌在 TPU v3 发布四年后推出的最新一代 AI 加速器，采用了 7nm 工艺，MXU 数量翻倍，内存容量和带宽显著提升。TPU v4 引入了 Sparse Core 以优化稀疏计算，首次采用了 3D Torus 互联方式，通过 Palomar 光路开关芯片减少系统延迟和功耗。TPU v4 Pod 实现了 1.126 Exaflops 的 BF16 峰值算力，展现了谷歌在大规模并行计算领域的突破。然而，TPU v4 也面临着系统成熟度低、拓扑僵硬和负载均衡问题等挑战。
• 11.29 15:38:40
  发表了文章 2024-11-29 15:38:40

  【AI系统】谷歌 TPU v3 POD 形态

  TPU v3 是 TPU v2 的增强版，主要改进包括：MXU 数量翻倍至 4 个，时钟频率提升 30%，内存带宽扩大 30%，容量翻倍，芯片间带宽增加 30%，可连接节点数增至 4 倍。TPU v3 通过采用水冷系统，不仅提高了功率，还优化了温度管理，显著提升了计算能力和能效。TPU v3 Pod 由 1024 个 TPU v3 组成，算力达 100 PFLOPS，适用于大规模神经网络训练。
• 11.29 15:29:02
  发表了文章 2024-11-29 15:29:02

  【AI系统】谷歌 TPU v2 训练芯片

  2017年，谷歌推出TPU v2，专为神经网络训练设计，标志着从推理转向训练的重大转变。TPU v2引入多项创新，包括Vector Memory、Vector Unit、MXU及HBM内存，以应对训练中数据并行、计算复杂度高等挑战。其高效互联技术构建了TPU v2超级计算机，显著提升大规模模型训练的效率和性能。
• 11.28 19:56:50
  发表了文章 2024-11-28 19:56:50

  【AI系统】谷歌 TPU v1-脉动阵列

  本文详细分析了谷歌TPU v1的架构与设计，重点介绍了其核心组件如DDR3 DRAM、矩阵乘法单元（MXU）、累加器及控制指令单元，特别是MXU中脉动阵列的工作机制。通过对比TPU v1与CPU、GPU在服务器环境中的表现，展示了TPU v1在提升神经网络计算吞吐量方面的显著优势，尤其是在低延迟和高能效方面。
• 11.28 19:12:48
  发表了文章 2024-11-28 19:12:48

  【AI系统】谷歌 TPU 历史发展

  本文详细介绍了谷歌TPU的发展历程及其在AI领域的应用。TPU是谷歌为加速机器学习任务设计的专用集成电路，自2016年首次推出以来，经历了多次迭代升级，包括TPU v1、v2、v3、v4及Edge TPU等版本。文章分析了各代TPU的技术革新，如低精度计算、脉动阵列、专用硬件设计等，并探讨了TPU在数据中心和边缘计算中的实际应用效果，以及谷歌如何通过TPU推动移动计算体验的进步。

  
• 11.28 18:47:56
  发表了文章 2024-11-28 18:47:56

  【AI系统】NV Switch 深度解析

  英伟达的NVSwitch技术是高性能计算领域的重大突破，旨在解决多GPU系统中数据传输的瓶颈问题。通过提供比PCIe高10倍的带宽，NVLink实现了GPU间的直接数据交换，减少了延迟，提高了吞吐量。NVSwitch则进一步推动了这一技术的发展，支持更多NVLink接口，实现无阻塞的全互联GPU系统，极大提升了数据交换效率和系统灵活性，为构建强大的计算集群奠定了基础。
• 11.28 17:10:32
  发表了文章 2024-11-28 17:10:32

  【AI系统】NVLink 原理剖析

  随着AI技术的发展，大模型参数量激增，对底层硬件和网络架构提出新挑战。高效训练这些模型需要大规模GPU集群及高速网络连接，以实现快速数据交换。然而，网络瓶颈限制了GPU性能的充分发挥，表明单纯增加GPU数量不能线性提升算力。因此，算存互连和算力互连技术成为关键，如PCIe、NVLink和NVSwitch等，它们通过提高数据传输速度和效率，支持大规模并行计算，解决了大规模GPU集群中的通信延迟问题，推动了万亿级模型训练的实现。
• 11.28 16:29:27
  发表了文章 2024-11-28 16:29:27

  【AI系统】分布式通信与 NVLink

  进入大模型时代后，AI的核心转向大模型发展，训练这类模型需克服大量GPU资源及长时间的需求。面对单个GPU内存限制，跨多个GPU的分布式训练成为必要，这涉及到分布式通信和NVLink技术的应用。分布式通信允许多个节点协作完成任务，而NVLink则是一种高速、低延迟的通信技术，用于连接GPU或GPU与其它设备，以实现高性能计算。随着大模型的参数、数据规模扩大及算力需求增长，分布式并行策略，如数据并行和模型并行，变得至关重要。这些策略通过将模型或数据分割在多个GPU上处理，提高了训练效率。此外，NVLink和NVSwitch技术的持续演进，为GPU间的高效通信提供了更强的支持，推动了大模型训练的快
• 11.28 15:55:47
  发表了文章 2024-11-28 15:55:47

  【AI系统】Tensor Core 深度剖析

  Tensor Core 是英伟达 GPU 的关键技术，专为加速深度学习计算设计，尤其擅长矩阵乘法和卷积运算。通过混合精度计算，Tensor Core 使用半精度（FP16）输入输出，内部以全精度（FP32）计算，确保精度同时提高效率。相比传统 CUDA Core，Tensor Core 每个时钟周期可执行 64 个浮点运算，大幅提升计算速度。其工作原理包括指令流水线、线程执行等多级优化，确保高效并行处理。通过分块、分配和并行执行策略，Tensor Core 能有效处理大规模矩阵计算，极大加速神经网络模型的训练和推断。

  
• 11.28 15:44:48
  发表了文章 2024-11-28 15:44:48

  【AI系统】Tensor Core 架构演进

  自2017年Volta架构推出以来，英伟达的GPU架构不断进化，从Volta的张量核心（Tensor Core）革新，到Turing的整数格式支持，再到Ampere的稀疏矩阵计算优化，以及Hopper的FP8张量核心和Transformer引擎，直至2024年的Blackwell架构，实现了30倍的LLM推理性能提升。每一代架构都标志着深度学习计算的重大突破，为AI技术的发展提供了强大的硬件支持。
• 11.28 15:31:09
  发表了文章 2024-11-28 15:31:09

  【AI系统】Tensor Core 基本原理

  本文深入介绍了英伟达GPU中的Tensor Core，一种专为加速深度学习设计的硬件单元。文章从发展历程、卷积计算、混合精度训练及基本原理等方面，详细解析了Tensor Core的工作机制及其在深度学习中的应用，旨在帮助读者全面理解Tensor Core技术。通过具体代码示例，展示了如何在CUDA编程中利用Tensor Core实现高效的矩阵运算，从而加速模型训练和推理过程。
• 11.28 14:59:25
  发表了文章 2024-11-28 14:59:25

  【AI系统】GPU 架构回顾（从2018年-2024年）

  2018年发布的Turing图灵架构，采用12nm工艺，包含18.6亿个晶体管，大幅提升了PC游戏、专业图形应用及深度学习推理的效率与性能。Turing引入了RT Core和Tensor Core，分别用于实时光线追踪和加速深度学习计算，支持GDDR6内存，显著提升了数据传输速率和效率。此外，Turing架构还支持NVLink 2.0，增强了多GPU协同工作的能力，适用于复杂的图形渲染和深度学习任务。

  
• 11.28 14:28:10
  发表了文章 2024-11-28 14:28:10

  【AI系统】GPU 架构回顾（从2010年-2017年）

  自1999年英伟达发明GPU以来，其技术不断革新。本文概述了从2010年至2024年间，英伟达GPU的九代架构演变，包括费米、开普勒、麦克斯韦、帕斯卡、伏特、图灵、安培、赫柏和布莱克韦尔。这些架构不仅在游戏性能上取得显著提升，还在AI、HPC、自动驾驶等领域发挥了重要作用。CUDA平台的持续发展，以及Tensor Core、NVLink等技术的迭代，巩固了英伟达在计算领域的领导地位。
• 11.28 14:12:40
  发表了文章 2024-11-28 14:12:40

  【AI系统】GPU 架构与 CUDA 关系

  本文介绍了英伟达GPU硬件基础概念，重点解析了A100 GPU架构中的GPC、TPC、SM等组件及其功能。接着深入讲解了CUDA并行计算平台和编程模型，特别是CUDA线程层次结构。最后，文章探讨了如何根据CUDA核心数量、核心频率等因素计算GPU的算力峰值，这对于评估大模型训练的算力需求至关重要。
• 11.28 11:15:58
  发表了文章 2024-11-28 11:15:58

  【AI系统】为什么 GPU 适用于 AI

  本文探讨了GPU在AI计算中的应用，从卷积计算的基本原理入手，解析了GPU线程分级与AI计算模式的关系，以及矩阵乘法如何通过GPU编程提升算力利用率。文章还介绍了计算强度的概念，分析了不同数据结构对计算强度的影响，以及GPU中Tensor Core的作用，强调了在不同存储位置下，找到计算强度与矩阵大小的最佳平衡点对AI计算系统优化的重要性。
• 11.27 18:34:42
  发表了文章 2024-11-27 18:34:42

  【AI系统】GPU 工作原理

  本文详细解析了AI计算体系中的GPU工作原理，重点介绍了GPU与CPU在架构上的差异，强调了GPU在并行计算方面的优势。文章通过$AX+Y$的例子，展示了GPU如何通过并行和并发提高计算效率，并深入探讨了GPU的缓存机制及线程原理，解释了GPU如何通过大量线程和Warp来掩盖延迟问题，实现高效计算。
• 11.27 18:10:57
  发表了文章 2024-11-27 18:10:57

  【AI系统】超异构计算

  本文探讨了计算机架构发展的黄金十年，重点介绍了异构计算和超异构计算的概念及其在AI芯片发展中的应用。文章首先回顾了AI芯片发展的三个阶段，随后详细阐述了异构计算的优势和应用场景，如性能飞跃、灵活定制、降低成本和降低功耗。接着，文章分析了超异构计算的出现背景、基本特征及其面临的挑战，包括软件层的复杂性和硬件定义软件与软件定义硬件之间的权衡。最后，展望了超异构计算的未来，强调了跨平台统一计算架构的重要性，以及构建开放生态系统的必要性。
• 11.27 18:00:54
  发表了文章 2024-11-27 18:00:54

  【AI系统】NPU 基础

  近年来，AI技术迅猛发展，催生了NPU和TPU等AI专用处理器，这些处理器专为加速深度学习任务设计，相比传统CPU和GPU，展现出更高效率和性能。本文将介绍AI芯片的概念、技术发展、部署方式及应用场景，涵盖从数据中心到边缘设备的广泛领域，探讨其如何成为AI技术落地的关键推手。
• 11.27 17:47:29
  发表了文章 2024-11-27 17:47:29

  【AI系统】GPU 基础

  GPU，即图形处理器，是计算机系统中处理图形和图像的核心组件，从早期的简单图形加速到如今的高性能计算和深度学习加速，GPU 经历了显著的技术革新。本文将介绍 GPU 的发展历程、与 CPU 的区别、在 AI 领域的关键作用及其在游戏、消费电子、自动驾驶等多个领域的广泛应用。
• 11.27 17:14:09
  发表了文章 2024-11-27 17:14:09

  【AI系统】CPU 计算时延

  CPU（中央处理器）是计算机系统的核心，其计算时延（从指令发出到完成所需时间）对系统性能至关重要。本文探讨了CPU计算时延的组成，包括指令提取、解码、执行、存储器访问及写回时延，以及影响时延的因素，如时钟频率、流水线技术、并行处理、缓存命中率和内存带宽。通过优化这些方面，可以有效降低计算时延，提升系统性能。文中还通过具体示例解析了时延产生的原因，强调了内存时延对计算速度的关键影响。
• 11.27 16:48:18
  发表了文章 2024-11-27 16:48:18

  【AI系统】CPU 计算本质

  本文深入探讨了CPU计算性能，分析了算力敏感度及技术趋势对CPU性能的影响。文章通过具体数据和实例，解释了算力计算方法、数据加载与计算的平衡点，以及如何通过算力敏感度分析优化性能瓶颈。同时，文章还讨论了服务器、GPU和超级计算机等不同计算平台的性能发展趋势，强调了优化数据传输速率和加载策略的重要性。
• 11.27 16:23:17
  发表了文章 2024-11-27 16:23:17

  【AI系统】CPU 指令集架构

  本文介绍了指令集架构（ISA）的基本概念，探讨了CISC与RISC两种主要的指令集架构设计思路，分析了它们的优缺点及应用场景。文章还简述了ISA的历史发展，包括x86、ARM、MIPS、Alpha和RISC-V等常见架构的特点。最后，文章讨论了CPU的并行处理架构，如SISD、SIMD、MISD、MIMD和SIMT，并概述了这些架构在服务器、PC及嵌入式领域的应用情况。
• 11.27 14:45:17
  发表了文章 2024-11-27 14:45:17

  【AI系统】CPU 基础

  CPU，即中央处理器，是计算机的核心组件，负责执行指令和数据计算，协调计算机各部件运作。自1946年ENIAC问世以来，CPU经历了从弱小到强大的发展历程。本文将介绍CPU的基本概念、发展历史及内部结构，探讨世界首个CPU的诞生、冯·诺依曼架构的影响，以及现代CPU的组成与工作原理。从4004到酷睿i系列，Intel与AMD的竞争推动了CPU技术的飞速进步。CPU由算术逻辑单元、存储单元和控制单元三大部分组成，各司其职，共同完成指令的取指、解码、执行和写回过程。
• 11.27 14:24:32
  发表了文章 2024-11-27 14:24:32

  【AI系统】计算之比特位宽

  本文详细介绍了计算机中整数和浮点数的比特位宽概念及其在AI模型中的应用。通过对比特位宽的定义、整数与浮点数的表示方法、AI中常用的数据类型（如FP32、TF32、FP16、BF16、FP8和Int8）及其在模型训练和推理中的作用进行了阐述。特别关注了FP8数据类型在提高计算性能和减少内存占用方面的新进展，以及降低比特位宽对AI芯片性能的影响，强调了低比特位宽在AI领域的重要性。
• 11.27 13:56:40
  发表了文章 2024-11-27 13:56:40

  【AI系统】核心计算之矩阵乘

  本文探讨了AI模型中矩阵乘运算的优化实现及其在AI芯片设计中的重要性。文章首先介绍了卷积操作如何转化为矩阵乘，接着阐述了矩阵乘的分块（Tiling）技术以适应芯片内存限制，最后总结了几种常见的矩阵乘优化方法，包括循环优化、分块矩阵乘法、SIMD指令优化等，旨在提高计算效率和性能。
• 11.27 11:33:30
  发表了文章 2024-11-27 11:33:30

  【AI系统】关键设计指标

  本文介绍了AI芯片设计中的关键指标与设计点，涵盖OPS、MACs、FLOPs等计算单位，以及精度、吞吐量、时延、能耗、成本和易用性等六大关键指标。文章还探讨了MACs和PE优化策略，以及通过算术强度和Roofline模型评估AI模型在特定芯片上的性能表现，为AI芯片的性能优化提供了理论依据和实践指导。