ZOMI酱_个人页

2024年12月

• 12.07 16:12:55
  发表了文章 2024-12-07 16:12:55

  【AI系统】FBNet 系列

  本文介绍了FBNet系列的三种版本，从FBNetV1基于NAS的轻量级网络设计，到FBNetV2通过DMaskingNAS增加搜索空间，再到FBNetV3联合搜索网络结构与训练参数，展示了如何利用NAS技术优化网络结构和提升模型性能。文章详细解释了各版本的技术特点和实现方法，为读者提供了深入了解和应用NAS技术的宝贵资料。

  
• 12.06 18:45:31
  发表了文章 2024-12-06 18:45:31

  【AI系统】AI 框架基础介绍

  本文介绍了AI算法、神经网络及其应用，解释了为何神经网络需要训练及AI框架的作用。通过解析深度学习的数学原理与反向求导算法，阐述了AI框架如何作为模型设计、训练和验证的标准工具，支持算法封装、数据调用及计算资源管理，强调了AI框架的发展历程和技术迭代。

  
• 12.06 18:27:54
  发表了文章 2024-12-06 18:27:54

  【AI系统】ESPNet 系列

  本文介绍了ESPNet系列，专注于高分辨率图像的语义分割，强调了其高效的计算性能和低内存、功耗特性。ESPNet V1提出了ESP模块，通过分解标准卷积为point-wise卷积和空洞卷积金字塔，大幅减少了参数量和计算成本。ESPNet V2则进一步优化，采用了分组卷积和深度空洞分离卷积，增强了模型的有效感受野，同时降低了浮点计算量，适用于多种视觉任务。
• 12.06 18:11:06
  发表了文章 2024-12-06 18:11:06

  【AI系统】MobileNet 系列

  本文详细介绍 MobileNet 系列模型，重点探讨其轻量化设计原则。从 MobileNetV1 开始，通过深度可分离卷积和宽度乘数减少参数量，实现低延迟、低功耗。后续版本 V2、V3、V4 逐步引入线性瓶颈、逆残差、Squeeze-and-Excitation 模块、新型激活函数 h-swish、NAS 搜索等技术，持续优化性能。特别是 MobileNetV4，通过通用倒瓶颈（UIB）和 Mobile MQA 技术，大幅提升模型效率，达到硬件无关的 Pareto 最优。文章结合最新深度学习技术，全面解析各版本的改进与设计思路。
• 12.06 17:40:44
  发表了文章 2024-12-06 17:40:44

  【AI系统】ShuffleNet 系列

  本文介绍了ShuffleNet系列模型，特别是其轻量化设计。ShuffleNet V1通过引入Pointwise Group Convolution和Channel Shuffle技术，在减少计算量的同时保持模型准确性。V2版本则进一步优化，考虑了设备运算速度，提出了四个轻量级网络设计原则，并通过Channel Split技术减少了内存访问成本，提升了模型效率。
• 12.06 17:29:32
  发表了文章 2024-12-06 17:29:32

  【AI系统】SqueezeNet 系列

  本文概述了SqueezeNet及其后续版本SqueezeNext，两者均致力于设计轻量级的神经网络模型。SqueezeNet通过引入Fire模块，显著减少了模型参数量，实现了与AlexNet相当的精度，但参数量仅为后者1/50。SqueezeNext则进一步优化，不仅减少了参数量，还提升了模型运行速度和能效，特别适合在资源受限的设备上部署。文中详细介绍了这两个模型的核心设计理念、关键组件以及其实现方式，为理解和应用轻量化模型提供了宝贵资料。
• 12.06 17:12:43
  发表了文章 2024-12-06 17:12:43

  【AI系统】Transformer 模型小型化

  本文介绍了几种轻量级的 Transformer 模型，旨在解决传统 Transformer 参数庞大、计算资源消耗大的问题。主要包括 **MobileVit** 和 **MobileFormer** 系列，以及 **EfficientFormer**。MobileVit 通过结合 CNN 和 Transformer 的优势，实现了轻量级视觉模型，特别适合移动设备。MobileFormer 则通过并行结构融合了 MobileNet 和 Transformer，增强了模型的局部和全局表达能力。
• 12.06 16:57:11
  发表了文章 2024-12-06 16:57:11

  【AI系统】轻量级CNN模型新进展

  本文继续探讨CNN模型的小型化，涵盖ESPNet、FBNet、EfficientNet和GhostNet系列。ESPNet系列通过高效空间金字塔卷积减少运算量；FBNet系列采用基于NAS的轻量化网络设计；EfficientNet系列通过复合缩放方法平衡网络深度、宽度和分辨率；GhostNet系列则通过Ghost模块生成更多特征图，减少计算成本。各系列均旨在提升模型效率和性能，适用于移动和边缘设备。
• 12.06 16:16:23
  发表了文章 2024-12-06 16:16:23

  【AI系统】轻量级CNN模型综述

  本文介绍了几种常见的小型化CNN模型，包括SqueezeNet、ShuffleNet、MobileNet等系列。这些模型通过减少参数量和计算量，实现在有限资源下高效运行，适用于存储和算力受限的场景。文章详细解释了各模型的核心技术和优化策略，如Fire Module、Channel Shuffle、Depthwise Separable Convolutions等，旨在帮助读者理解和应用这些高效的小型化CNN模型。
• 12.06 15:42:51
  发表了文章 2024-12-06 15:42:51

  【AI系统】推理参数

  本文介绍了AI模型网络参数的基本概念及硬件性能指标，探讨了模型轻量化的重要性。随着深度学习的发展，模型参数量和计算量不断增大，导致难以直接部署到移动端。文章详细解析了FLOPs、FLOPS、MACCs等计算指标，并对比了标准卷积层、Group卷积、Depth-wise卷积和全连接层的参数计算方法，为模型优化提供了理论基础。
• 12.06 15:26:29
  发表了文章 2024-12-06 15:26:29

  【AI系统】推理引擎示例：AscendCL

  AscendCL 是华为 Ascend 系列 AI 处理器的软件开发框架，提供强大的编程支持，简化 AI 应用的开发和优化。本文介绍了 AscendCL 的概念、优势、应用场景及基本开发流程，帮助开发者高效利用昇腾 AI 处理器的计算资源。
• 12.06 15:00:53
  发表了文章 2024-12-06 15:00:53

  【AI系统】昇腾推理引擎 MindIE

  本文详细介绍华为昇腾推理引擎 MindIE，涵盖其基本介绍、关键功能特性及三大组件：MindIE-Service、MindIE-Torch 和 MindIE-RT。文章深入探讨了各组件在服务化部署、大模型推理和推理运行时方面的功能和应用场景，旨在帮助读者全面了解 MindIE 如何支持 AI 业务的高效运行和模型的快速部署。
• 12.06 14:53:05
  发表了文章 2024-12-06 14:53:05

  【AI系统】推理引擎架构

  本文详细介绍了推理引擎的基本概念、特点、技术挑战及架构设计。推理引擎作为 AI 系统中的关键组件，负责将训练好的模型部署到实际应用中，实现智能决策和自动化处理。文章首先概述了推理引擎的四大特点：轻量、通用、易用和高效，接着探讨了其面临的三大技术挑战：需求复杂性与程序大小的权衡、算力需求与资源碎片化的矛盾、执行效率与模型精度的双重要求。随后，文章深入分析了推理引擎的整体架构，包括优化阶段的模型转换工具、模型压缩、端侧学习等关键技术，以及运行阶段的调度层、执行层等核心组件。最后，通过具体的开发流程示例，展示了如何使用推理引擎进行模型的加载、配置、数据预处理、推理执行及结果后处理。
• 12.05 18:44:36
  发表了文章 2024-12-05 18:44:36

  【AI系统】推理系统架构

  本文深入探讨了AI推理系统架构，特别是以NVIDIA Triton Inference Server为核心，涵盖推理、部署、服务化三大环节。Triton通过高性能、可扩展、多框架支持等特点，提供了一站式的模型服务解决方案。文章还介绍了模型预编排、推理引擎、返回与监控等功能，以及自定义Backend开发和模型生命周期管理的最佳实践，如金丝雀发布和回滚策略，旨在帮助构建高效、可靠的AI应用。
• 12.05 17:22:10
  发表了文章 2024-12-05 17:22:10

  【AI系统】推理流程全景

  本文概述了神经网络模型在云侧和边缘侧部署的特点与挑战。云侧部署凭借强大的计算能力和集中的数据管理，适合高吞吐量应用，但面临高成本、网络延迟等问题；边缘侧部署则通过模型优化和硬件加速降低延迟和能耗，适用于资源受限的环境，但存在算力限制、数据分散等挑战。两种方式各有优劣，需根据实际需求选择。
• 12.05 17:16:56
  发表了文章 2024-12-05 17:16:56

  【AI系统】推理系统介绍

  推理系统是一种专门用于部署和执行神经网络模型预测任务的AI系统，类似于Web服务或移动端应用，但专注于AI模型的部署与运行。它支持将模型部署到云端或边缘端，处理用户请求。本文介绍了训练与推理的基本流程、两者差异、推理系统的优化目标及挑战，并对比了推理系统与推理引擎的流程结构，强调了设计推理系统时需考虑的优化目标，如灵活性、延迟、吞吐量、高效率、扩展性和可靠性。同时，文章还讨论了推理系统与推理引擎的区别，帮助读者深入了解推理引擎的核心技术。
• 12.05 17:08:11
  发表了文章 2024-12-05 17:08:11

  【AI系统】推理系统引言

  本文深入探讨了推理系统与推理引擎的概念及其实现方法，涵盖模型小型化、离线优化压缩、在线部署与优化等多个方面。通过具体应用实例，如人脸Landmark识别、人脸检测与手势识别等，展示了推理系统在实际场景中的强大功能。同时，文章还讨论了维护推理系统时需考虑的关键问题，包括API设计、数据质量保障、网络延迟优化等，为读者提供了全面的理论与实践指南。
• 12.05 17:04:07
  发表了文章 2024-12-05 17:04:07

  【AI系统】Ascend C 编程范式

  本文详细探讨了Ascend C编程范式下的向量计算编程，重点介绍了自定义向量算子的开发流程，包括算子分析、核函数定义与封装、算子数据通路及算子类实现等内容。文章通过具体的`add_custom`算子开发实例，解析了向量算子的初始化、数据搬入、计算与数据搬出等核心步骤，以及数据切分策略，旨在帮助读者理解Ascend C的设计理念及其向量算子的编写思路。
• 12.05 16:50:56
  发表了文章 2024-12-05 16:50:56

  【AI系统】Ascend C 语法扩展

  Ascend C 是基于标准 C++ 扩展的编程语言，专为华为昇腾处理器设计。本文介绍了 Ascend C 的基础语法扩展、API（基础与高阶）、关键编程对象（数据存储、任务间通信与同步、资源管理及临时变量），以及如何利用这些特性高效开发。通过华为自研的毕昇编译器，Ascend C 实现了主机与设备侧的独立执行能力，支持不同地址空间的访问。API 包括计算、数据搬运、内存管理和任务同步等功能，旨在帮助开发者构建高性能的 AI 应用。

  
• 12.05 16:44:07
  发表了文章 2024-12-05 16:44:07

  【AI系统】算子开发编程语言 Ascend C

  本文详细介绍了昇腾算子开发编程语言 Ascend C，旨在帮助开发者高效完成算子开发与模型调优。Ascend C 原生支持 C/C++标准，通过多层接口抽象、自动并行计算等技术，简化开发流程，提高开发效率。文章还探讨了并行计算的基本原理及大模型并行加速策略，结合 Ascend C 的 SPMD 编程模型和流水线编程范式，为读者提供了深入理解并行计算和 AI 开发的重要工具和方法。
• 12.05 16:36:28
  发表了文章 2024-12-05 16:36:28

  【AI系统】CANN 算子类型

  本文介绍了算子的基本概念及其在编程和数学中的作用，重点探讨了CANN算子在AI编程和神经网络中的应用，特别是华为CANN算子在AI CPU上的架构和开发要求。CANN是华为推出的异构计算架构，旨在优化AI处理器的计算效率，支持多种AI框架，涵盖AI Core和AI CPU算子，以适应不同类型的计算需求。文中还详细说明了AI CPU算子的开发流程和适用场景，为开发者提供了宝贵的指导。
• 12.05 16:11:46
  发表了文章 2024-12-05 16:11:46

  【AI系统】昇腾异构计算架构 CANN

  本文介绍了昇腾 AI 异构计算架构 CANN，涵盖硬件层面的达·芬奇架构和软件层面的全栈支持，旨在提供高性能神经网络计算所需的硬件基础和软件环境。通过多层级架构，CANN 实现了高效的 AI 应用开发与性能优化，支持多种主流 AI 框架，并提供丰富的开发工具和接口，助力开发者快速构建和优化神经网络模型。
• 12.05 15:58:03
  发表了文章 2024-12-05 15:58:03

  【AI系统】TVM 实践案例

  本文探讨了如何利用AI编译器在新硬件上部署神经网络，重点介绍了TVM的工作流程，包括模型导入、转换为Relay、TE和TIR、自动调优、编译为机器码等步骤。文章还讨论了算法层面上的算子优化、量化技术，以及编译层面对量化模型的解析和计算图优化。此外，还介绍了TVM的BYOC框架，允许硬件加速器供应商通过即插即用的方式集成代码工具，实现高效编译和优化。最后，文章提及了算子和网络仿真的重要性，确保新硬件平台上的模型正确性和性能。
• 12.05 14:48:55
  发表了文章 2024-12-05 14:48:55

  【AI系统】Auto-Tuning 原理

  本文探讨了在多样化硬件平台上部署深度神经网络（DNN）时，传统算子库面临的挑战及解决方案。随着硬件平台的多样化和快速迭代，手动编写高性能算子库变得日益困难。文中介绍了基于TVM的三种自动调优系统——AutoTVM、Ansor和Meta Scheduler，它们通过自动生成高性能算子，有效解决了传统方法的局限性，提高了DNN在不同硬件平台上的执行效率。
• 12.05 14:42:13
  发表了文章 2024-12-05 14:42:13

  【AI系统】指令和存储优化

  在AI编译器底层，除了广泛应用的循环优化外，还存在指令优化和存储优化两大类。指令优化通过利用硬件提供的特殊加速指令，如向量化和张量化，提高计算效率；存储优化则关注如何高效管理数据存储与访问，减少延迟，提高整体计算效率。这些技术共同作用，极大提升了AI系统的性能。
• 12.05 14:37:58
  发表了文章 2024-12-05 14:37:58

  【AI系统】算子循环优化

  循环优化是提升计算性能的关键技术，主要通过改进数据局部性和增强计算并行性来实现。数据局部性优化利用缓存机制减少内存访问延迟，如循环分块、重排等；计算并行性优化则通过多核、向量化等技术最大化硬件效能，如循环展开、融合、拆分等。这些方法共同作用，显著提升程序执行效率。
• 12.05 14:28:11
  发表了文章 2024-12-05 14:28:11

  【AI系统】算子手工优化

  本文深入探讨了手写算子调度的关键因素及高性能算子库的介绍，通过计算分析指标和 RoofLine 模型评估计算与访存瓶颈，提出了循环、指令、存储三大优化策略，并介绍了 TVM 和 Triton 两种 DSL 开发算子的方法及其在实际应用中的表现。

  
• 12.05 14:15:49
  发表了文章 2024-12-05 14:15:49

  【AI系统】计算与调度

  本文探讨了计算与调度的概念，特别是在神经网络和图像处理中的应用。通过分离算法定义和计算组织，Halide 等工具能够显著提升图像处理程序的性能，同时保持代码的简洁性和可维护性。文章详细介绍了计算与调度的基本概念、调度树的构建与约束，以及如何通过调度变换优化计算性能。此外，还讨论了自动调优方法在大规模调度空间中的应用，展示了如何通过探索和预测找到最优的调度方案。
• 12.05 14:09:35
  发表了文章 2024-12-05 14:09:35

  【AI系统】AI 编译器后端优化

  AI编译器采用多层架构，首先通过前端优化将不同框架的模型转化为统一的Graph IR并进行计算图级别的优化，如图算融合、内存优化等。接着，通过后端优化，将优化后的计算图转换为TensorIR，针对单个算子进行具体实现优化，包括循环优化、算子融合等，以适应不同的硬件架构，最终生成高效执行的机器代码。后端优化是提升算子性能的关键步骤，涉及复杂的优化策略和技术。
• 12.05 14:05:26
  发表了文章 2024-12-05 14:05:26

  【AI系统】代数简化

  代数简化是一种基于数学原理优化计算图的技术，通过调整算子执行顺序或删除冗余算子来提升计算效率。主要方法包括算术简化（利用代数法则如交换律、结合律等优化运算符顺序）、运行简化（减少冗余的算子操作，如对合算子和幂等算子的化简）和广播简化（优化不同形状张量间的广播运算）。这些方法共同作用，旨在减少计算资源消耗，加速计算过程。
• 12.05 12:05:09
  发表了文章 2024-12-05 12:05:09

  【AI系统】死代码消除

  死代码消除是一种编译器优化技术，旨在移除程序中不会被执行的代码，提升程序效率和资源利用。通过分析控制流图，识别并删除不可达操作和无用操作，减少不必要的计算。在传统编译器中，主要通过深度优先搜索和条件分支优化实现；而在AI编译器中，则通过对计算图的分析，删除无用或不可达的计算节点，优化模型性能。
• 12.04 17:40:40
  发表了文章 2024-12-04 17:40:40

  【AI系统】公共表达式消除原理

  公共子表达式消除（CSE）是编译器优化技术，旨在通过识别并消除重复计算的表达式，减少计算量，提升程序执行效率。CSE分为局部和全局两种，局部CSE仅在单个基本块内操作，而全局CSE跨越多个基本块。技术手段包括局部值编号和缓式代码移动等，广泛应用于传统编译器及AI编译器中，有效简化计算图，降低计算成本。
• 12.04 16:55:19
  发表了文章 2024-12-04 16:55:19

  【AI系统】常量折叠原理

  常量折叠是一种编译器优化技术，通过在编译阶段计算常量表达式，用结果替换原表达式，减少运行时计算。传统编译器在编译期间识别并计算常量表达式，如 Python 中 `day_sec = 24*60*60` 被优化为 `day_sec = 86400`。AI 编译器则在计算图中进行类似优化，如 TensorFlow 通过分析计算图节点，提前计算确定结果的节点，提高执行效率。
• 12.04 13:58:51
  发表了文章 2024-12-04 13:58:51

  【AI系统】内存分配算法

  本文探讨了AI编译器前端优化中的内存分配问题，涵盖模型与硬件内存的发展、内存划分及其优化算法。文章首先分析了神经网络模型对NPU内存需求的增长趋势，随后详细介绍了静态与动态内存的概念及其实现方式，最后重点讨论了几种节省内存的算法，如空间换内存、计算换内存、模型压缩和内存复用等，旨在提高内存使用效率，减少碎片化，提升模型训练和推理的性能。
• 12.04 11:53:21
  发表了文章 2024-12-04 11:53:21

  【AI系统】布局转换原理与算法

  数据布局转换技术通过优化内存中数据的排布，提升程序执行效率，特别是对于缓存性能的影响显著。本文介绍了数据在内存中的排布方式，包括内存对齐、大小端存储等概念，并详细探讨了张量数据在内存中的排布，如行优先与列优先排布，以及在深度学习中常见的NCHW与NHWC两种数据布局方式。这些布局方式的选择直接影响到程序的性能，尤其是在GPU和CPU上的表现。此外，还讨论了连续与非连续张量的概念及其对性能的影响。
• 12.04 11:47:10
  发表了文章 2024-12-04 11:47:10

  【AI系统】算子融合

  算子融合是优化神经网络模型执行效率的关键技术之一，通过合并计算图中的算子，减少中间结果的实例化和不必要的输入扫描，提升模型的计算并行度和访存效率，有效解决内存墙和并行墙问题。TVM等框架通过支配树分析等高级算法实现高效的算子融合，显著提高模型的执行速度和资源利用率。
• 12.02 19:00:01
  发表了文章 2024-12-02 19:00:01

  【AI系统】图算 IR

  本文全面介绍了计算图的概念及其在AI框架中的应用，涵盖计算图的基本构成、与自动微分的关系、静态图与动态图的生成及特点，以及计算图对AI编译器的重要作用。文章详细解析了计算图的结构，包括张量和算子的角色，探讨了AI框架如何通过计算图实现自动微分，同时对比了静态图和动态图的优缺点，指出了计算图在优化AI编译器性能方面的关键作用。
• 12.02 18:54:38
  发表了文章 2024-12-02 18:54:38

  【AI系统】AI编译器前瞻

  本文基于《The Deep Learning Compiler: A Comprehensive Survey》调研，对比了TVM、nGraph、TC、Glow和XLA五个热门AI编译器，介绍了它们的特点和应用场景。文章分析了AI编译器面临的挑战，包括动态Shape问题、Python编译静态化、发挥硬件性能、特殊优化方法及易用性与性能兼顾问题，并展望了AI编译器的未来，探讨了编译器形态、IR形态、自动并行、自动微分及Kernel 自动生成等方面的发展趋势。
• 12.02 18:04:04
  发表了文章 2024-12-02 18:04:04

  【AI系统】AI 编译器基本架构

  本文承接前文关于AI编译器发展的三个阶段，深入探讨通用AI编译器架构。文章首先回顾现有AI编译器架构，如PyTorch的转换流程及优化策略，然后介绍理想化的通用AI编译器架构，涵盖从前端接收多框架模型输入到后端生成特定硬件代码的全过程。重点解析了编译器的中间表达IR、前端与后端优化技术，以及现有AI编译器全栈产品的层次结构，为读者提供了全面的技术概览。
• 12.02 18:00:48
  发表了文章 2024-12-02 18:00:48

  【AI系统】AI 编译器历史阶段

  本文概述了AI编译器的发展历程，从朴素AI编译器、专用AI编译器到未来的通用AI编译器，详细介绍了各阶段的技术特点与优化目标。AI编译器旨在优化AI和机器学习应用，通过多层IR设计、面向神经网络的深度优化及对DSA芯片的支持，实现高性能计算。随着技术的进步，通用AI编译器将实现计算图与算子的统一表达、自动化优化及模块化设计，推动AI技术的广泛应用和发展。
• 12.02 17:57:09
  发表了文章 2024-12-02 17:57:09

  【AI系统】为什么需要 AI 编译器

  本文探讨了AI编译器的黄金年代及其必要性，通过对比传统编译器与AI编译器的区别，揭示了AI编译器在处理复杂神经网络模型时的优化能力和对异构计算平台的支持。随着AI硬件的多样化和软件碎片化问题的加剧，AI编译器成为连接上层应用与底层硬件的关键桥梁，旨在提高性能、降低成本并增强软件的可移植性。
• 12.02 17:04:36
  发表了文章 2024-12-02 17:04:36

  【AI系统】LLVM 后端代码生成

  本文介绍 LLVM 后端的代码生成过程，包括将优化后的 LLVM IR 转换为目标代码的关键步骤，如指令选择、寄存器分配、指令调度等，以及后端如何支持不同硬件平台的代码生成。
• 12.02 16:59:15
  发表了文章 2024-12-02 16:59:15

  【AI系统】LLVM 前端和优化层

  本文介绍了 LLVM 编译器的核心概念——LLVM IR，并详细讲解了 LLVM 的前端 Clang 如何将 C、C++ 等高级语言代码转换为 LLVM IR。文章还探讨了编译过程中的词法分析、语法分析和语义分析三个关键步骤，以及 LLVM 优化层的 Pass 机制，包括分析 Pass 和转换 Pass 的作用及依赖关系。
• 12.02 16:51:06
  发表了文章 2024-12-02 16:51:06

  【AI系统】LLVM IR 详解

  本文深入探讨了LLVM IR（中间表示）的概念，解释了其在编译器中的重要性和作用。LLVM IR作为一种抽象程度适中的中间语言，不仅涵盖了源代码的大部分信息，还支持编译器进行灵活的代码优化。文章进一步解析了LLVM IR的三地址码表示及其优点，并通过具体示例展示了LLVM IR的设计原则和内存模型，帮助读者更好地理解编译器内部的工作机制。
• 12.02 16:28:57
  发表了文章 2024-12-02 16:28:57

  【AI系统】LLVM IR 基本概念

  本文深入探讨了LLVM的IR（中间表示）概念，解释了其在编译器工作原理中的重要性及应用方式。LLVM IR作为一种适中抽象级别的表示形式，能有效捕捉源代码信息，支持编译器的灵活操作与优化。文章进一步分析了LLVM IR的不同表现形式，包括内存中的编译中间语言、硬盘上的二进制格式和人类可读的文本格式，以及通过具体示例展示了如何使用Clang将C语言程序编译为LLVM IR。此外，还详细解析了LLVM IR的基本语法、条件语句、循环结构和指针操作等内容。
• 12.02 16:15:42
  发表了文章 2024-12-02 16:15:42

  【AI系统】LLVM 架构设计和原理

  本文介绍了LLVM的诞生背景及其与GCC的区别，重点阐述了LLVM的架构特点，包括其组件独立性、中间表示（IR）的优势及整体架构。通过Clang+LLVM的实际编译案例，展示了从C代码到可执行文件的全过程，突显了LLVM在编译器领域的创新与优势。
• 12.02 15:13:57
  发表了文章 2024-12-02 15:13:57

  【AI系统】GCC 主要特征

  GCC（GNU Compiler Collection）是由理查德·斯托曼于1987年创建，最初作为GNU项目的一部分，旨在为GNU/Linux系统提供高效C语言编译器。随着时间发展，GCC不仅支持多种编程语言如C++、Java、Swift等，还具备强大的可移植性、模块化设计及跨平台交叉编译能力，成为全球广泛使用的开源编译器之一。其编译过程分为预处理、编译、汇编和链接四个阶段，支持静态和动态链接方式，适用于本地编译和交叉编译场景。
• 12.02 15:09:03
  发表了文章 2024-12-02 15:09:03

  【AI系统】传统编译器发展

  编译技术是计算机科学的重要组成部分，作为基础软件的核心，它将高级语言转换为机器码，极大提高了编程效率。从1957年的IBM Fortran开始，编译器经历了多个发展阶段，包括结构化程序设计、面向对象编程、并行计算及AI应用等，形成了如今如GCC、LLVM等成熟的编译体系。未来，随着多语言融合和跨平台需求的增长，编译技术将继续演进，支持更多新兴语言和平台。
• 12.02 15:01:47
  发表了文章 2024-12-02 15:01:47

  【AI系统】编译器基础介绍

  随着深度学习的发展，AI模型和硬件技术不断演进，开发者面临如何有效利用算力及应对AI框架迭代的挑战。AI编译器成为解决这些问题的关键技术，它帮助用户专注于上层模型开发，减少手动优化性能的成本，最大化硬件效能。本文探讨编译器基础概念，解释编译器与AI框架的关系，介绍编译器与解释器的区别，以及AOT和JIT编译方式的特点和在AI框架中的应用。通过分析Pass和中间表示IR的作用，进一步理解编译器在AI领域的核心价值。
• 12.02 14:47:56
  发表了文章 2024-12-02 14:47:56

  【AI系统】AI 芯片的思考

  为了应对数据中心算力需求，谷歌自2014年起研发TPU，专为深度学习设计的硬件加速器。TPU加速了谷歌的机器学习任务，尤其在大模型训练和推理方面表现突出。大卫·帕特森教授加入谷歌TPU团队后，分享了TPU发展历程及技术心得，强调了AI模型对内存和算力需求的快速增长、模型结构的快速演变、生产部署中的多租户需求、SRAM与DRAM的权衡、内存优化的重要性、DSA的专业与灵活性、半导体供应链选型、编译器优化及AI应用兼容性等方面的关键挑战与解决方案。