【AI系统】从 CUDA 对 AI 芯片思考
本文从技术角度探讨英伟达生态，特别是CUDA与SIMT的关系及其对AI芯片DSA架构的影响。通过分析流水编排、SIMT前端、分支预测及交互方式，指出英伟达CUDA的成功在于其硬件设计与软件易用性的结合，为未来AI芯片的设计提供了宝贵的经验和启示。
【AI系统】CUDA 编程模式
本文介绍了英伟达GPU的CUDA编程模型及其SIMT执行模式，对比了SIMD和SIMT的特点，阐述了SIMT如何提高并行计算效率和编程灵活性。同时简要提及了AMD的GPU架构及编程模型，包括最新的MI300X和ROCm平台。
【AI系统】SIMD & SIMT 与芯片架构
本文深入解析了SIMD（单指令多数据）与SIMT（单指令多线程）的计算本质及其在AI芯片中的应用，特别是NVIDIA CUDA如何实现这两种计算模式。SIMD通过单指令对多个数据进行操作，提高数据并行处理能力；而SIMT则在GPU上实现了多线程并行，每个线程独立执行相同指令，增强了灵活性和性能。文章详细探讨了两者的硬件结构、编程模型及硬件执行模型的区别与联系，为理解现代AI计算架构提供了理论基础。
【AI系统】SIMD & SIMT 与 CUDA 关系
本文深入解析了AI芯片中SIMD和SIMT的计算本质，基于NVIDIA CUDA实现的对比，探讨了不同并行编程模型，包括串行(SISD)、数据并行(SIMD)和多线程(MIMD/SPMD)。文章详细介绍了各模型的特点及应用场景，特别强调了英伟达GPU中的SIMT机制如何通过SPMD编程模型实现高效并行计算，以及SIMD、SIMT、SPMD之间的关系和区别。
【大模型入门系列2】本地win11部署通义千问大模型做RAG验证
本文介绍了如何在本地环境中部署并使用大模型，特别是阿里巴巴云的Qwen1.5-0.5B-Chat模型。首先分析了本地化部署的重要性，包括数据安全、网络稳定性、定制化需求等方面。接着详细描述了环境准备过程，包括更新显卡驱动、安装CUDA、配置Python环境等。随后，文章展示了如何使用ModelScope Library加载模型，并通过Python脚本实现基本的对话功能。最后，探讨了私有化部署大模型的优势，如数据安全、定制化、效率提升等，为未来的探索指明方向。
Go语言中的并发编程：掌握goroutines和channels####
本文深入探讨了Go语言中并发编程的核心概念——goroutine和channel。不同于传统的线程模型，Go通过轻量级的goroutine和通信机制channel，实现了高效的并发处理。我们将从基础概念开始，逐步深入到实际应用案例，揭示如何在Go语言中优雅地实现并发控制和数据同步。
####
从本地部署到企业级服务：十种主流LLM推理框架的技术介绍与对比
本文深入探讨了十种主流的大语言模型（LLM）服务引擎和工具，涵盖从轻量级本地部署到高性能企业级解决方案，详细分析了它们的技术特点、优势及局限性，旨在为研究人员和工程团队提供适合不同应用场景的技术方案。内容涉及WebLLM、LM Studio、Ollama、vLLM、LightLLM、OpenLLM、HuggingFace TGI、GPT4ALL、llama.cpp及Triton Inference Server与TensorRT-LLM等。