# GPU云服务器 #
1
关注
7862内容
【AI系统】AI 编译器历史阶段
本文概述了AI编译器的发展历程，从朴素AI编译器、专用AI编译器到未来的通用AI编译器，详细介绍了各阶段的技术特点与优化目标。AI编译器旨在优化AI和机器学习应用，通过多层IR设计、面向神经网络的深度优化及对DSA芯片的支持，实现高性能计算。随着技术的进步，通用AI编译器将实现计算图与算子的统一表达、自动化优化及模块化设计，推动AI技术的广泛应用和发展。
【AI系统】AI 编译器基本架构
本文承接前文关于AI编译器发展的三个阶段，深入探讨通用AI编译器架构。文章首先回顾现有AI编译器架构，如PyTorch的转换流程及优化策略，然后介绍理想化的通用AI编译器架构，涵盖从前端接收多框架模型输入到后端生成特定硬件代码的全过程。重点解析了编译器的中间表达IR、前端与后端优化技术，以及现有AI编译器全栈产品的层次结构，为读者提供了全面的技术概览。
【AI系统】为什么需要 AI 编译器
本文探讨了AI编译器的黄金年代及其必要性，通过对比传统编译器与AI编译器的区别，揭示了AI编译器在处理复杂神经网络模型时的优化能力和对异构计算平台的支持。随着AI硬件的多样化和软件碎片化问题的加剧，AI编译器成为连接上层应用与底层硬件的关键桥梁，旨在提高性能、降低成本并增强软件的可移植性。
【AI系统】AI 芯片的思考
为了应对数据中心算力需求，谷歌自2014年起研发TPU，专为深度学习设计的硬件加速器。TPU加速了谷歌的机器学习任务，尤其在大模型训练和推理方面表现突出。大卫·帕特森教授加入谷歌TPU团队后，分享了TPU发展历程及技术心得，强调了AI模型对内存和算力需求的快速增长、模型结构的快速演变、生产部署中的多租户需求、SRAM与DRAM的权衡、内存优化的重要性、DSA的专业与灵活性、半导体供应链选型、编译器优化及AI应用兼容性等方面的关键挑战与解决方案。
【AI系统】从 CUDA 对 AI 芯片思考
本文从技术角度探讨英伟达生态，特别是CUDA与SIMT的关系及其对AI芯片DSA架构的影响。通过分析流水编排、SIMT前端、分支预测及交互方式，指出英伟达CUDA的成功在于其硬件设计与软件易用性的结合，为未来AI芯片的设计提供了宝贵的经验和启示。
【AI系统】CUDA 编程模式
本文介绍了英伟达GPU的CUDA编程模型及其SIMT执行模式，对比了SIMD和SIMT的特点，阐述了SIMT如何提高并行计算效率和编程灵活性。同时简要提及了AMD的GPU架构及编程模型，包括最新的MI300X和ROCm平台。
【AI系统】SIMD & SIMT 与芯片架构
本文深入解析了SIMD（单指令多数据）与SIMT（单指令多线程）的计算本质及其在AI芯片中的应用，特别是NVIDIA CUDA如何实现这两种计算模式。SIMD通过单指令对多个数据进行操作，提高数据并行处理能力；而SIMT则在GPU上实现了多线程并行，每个线程独立执行相同指令，增强了灵活性和性能。文章详细探讨了两者的硬件结构、编程模型及硬件执行模型的区别与联系，为理解现代AI计算架构提供了理论基础。
【AI系统】SIMD & SIMT 与 CUDA 关系
本文深入解析了AI芯片中SIMD和SIMT的计算本质，基于NVIDIA CUDA实现的对比，探讨了不同并行编程模型，包括串行(SISD)、数据并行(SIMD)和多线程(MIMD/SPMD)。文章详细介绍了各模型的特点及应用场景，特别强调了英伟达GPU中的SIMT机制如何通过SPMD编程模型实现高效并行计算，以及SIMD、SIMT、SPMD之间的关系和区别。
从本地部署到企业级服务：十种主流LLM推理框架的技术介绍与对比
本文深入探讨了十种主流的大语言模型（LLM）服务引擎和工具，涵盖从轻量级本地部署到高性能企业级解决方案，详细分析了它们的技术特点、优势及局限性，旨在为研究人员和工程团队提供适合不同应用场景的技术方案。内容涉及WebLLM、LM Studio、Ollama、vLLM、LightLLM、OpenLLM、HuggingFace TGI、GPT4ALL、llama.cpp及Triton Inference Server与TensorRT-LLM等。
Mooncake：月之暗面Kimi联合清华等机构推出的大模型推理架构
Mooncake是由月之暗面Kimi联合清华大学等机构共同开源的大模型推理架构。该架构以KVCache为中心，通过分布式设计和资源优化，显著提升了大模型推理的吞吐量和效率，同时降低了算力开销。Mooncake在长上下文场景中表现出色，支持多种应用场景，如自然语言处理、内容推荐系统和搜索引擎等。
免费试用