【AI系统】为什么需要 AI 编译器
本文探讨了AI编译器的黄金年代及其必要性，通过对比传统编译器与AI编译器的区别，揭示了AI编译器在处理复杂神经网络模型时的优化能力和对异构计算平台的支持。随着AI硬件的多样化和软件碎片化问题的加剧，AI编译器成为连接上层应用与底层硬件的关键桥梁，旨在提高性能、降低成本并增强软件的可移植性。
【AI系统】从 CUDA 对 AI 芯片思考
本文从技术角度探讨英伟达生态，特别是CUDA与SIMT的关系及其对AI芯片DSA架构的影响。通过分析流水编排、SIMT前端、分支预测及交互方式，指出英伟达CUDA的成功在于其硬件设计与软件易用性的结合，为未来AI芯片的设计提供了宝贵的经验和启示。
【AI系统】CUDA 编程模式
本文介绍了英伟达GPU的CUDA编程模型及其SIMT执行模式，对比了SIMD和SIMT的特点，阐述了SIMT如何提高并行计算效率和编程灵活性。同时简要提及了AMD的GPU架构及编程模型，包括最新的MI300X和ROCm平台。
如何通过看板工具简化ASIC设计中的沟通与决策流程，提高团队效率？
本文介绍了如何利用看板工具，特别是板栗看板（Banli Kanban），优化ASIC设计流程。从需求分析、设计开发、验证测试到制造交付及项目回顾，板栗看板通过任务可视化、实时信息同步和精准任务指派，有效提升了项目管理的精准性与灵活性，减少了沟通成本，增强了团队协作，促进了流程优化。
【AI系统】SIMD & SIMT 与芯片架构
本文深入解析了SIMD（单指令多数据）与SIMT（单指令多线程）的计算本质及其在AI芯片中的应用，特别是NVIDIA CUDA如何实现这两种计算模式。SIMD通过单指令对多个数据进行操作，提高数据并行处理能力；而SIMT则在GPU上实现了多线程并行，每个线程独立执行相同指令，增强了灵活性和性能。文章详细探讨了两者的硬件结构、编程模型及硬件执行模型的区别与联系，为理解现代AI计算架构提供了理论基础。
【AI系统】SIMD & SIMT 与 CUDA 关系
本文深入解析了AI芯片中SIMD和SIMT的计算本质，基于NVIDIA CUDA实现的对比，探讨了不同并行编程模型，包括串行(SISD)、数据并行(SIMD)和多线程(MIMD/SPMD)。文章详细介绍了各模型的特点及应用场景，特别强调了英伟达GPU中的SIMT机制如何通过SPMD编程模型实现高效并行计算，以及SIMD、SIMT、SPMD之间的关系和区别。
从本地部署到企业级服务：十种主流LLM推理框架的技术介绍与对比
本文深入探讨了十种主流的大语言模型（LLM）服务引擎和工具，涵盖从轻量级本地部署到高性能企业级解决方案，详细分析了它们的技术特点、优势及局限性，旨在为研究人员和工程团队提供适合不同应用场景的技术方案。内容涉及WebLLM、LM Studio、Ollama、vLLM、LightLLM、OpenLLM、HuggingFace TGI、GPT4ALL、llama.cpp及Triton Inference Server与TensorRT-LLM等。
《构建 C++分布式计算框架：赋能人工智能模型并行训练》
在AI快速发展的背景下，模型训练的计算需求激增。基于C++构建的分布式计算框架，通过整合多节点、多GPU/CPU资源，优化数据通信、构建同步机制、实现负载均衡及增强可扩展性和容错性，显著提升训练效率，加速模型迭代，推动AI技术在医疗、交通等领域的广泛应用，开启智能化新时代。