118_LLM模型量化与压缩：从理论到2025年实践技术详解
大型语言模型（LLM）在自然语言处理领域取得了前所未有的成功，但模型规模的快速增长带来了巨大的计算和存储挑战。一个典型的大型语言模型（如GPT-4或LLaMA 3）可能包含数千亿甚至万亿参数，需要数百GB甚至TB级的存储空间，并且在推理时需要大量的计算资源。这种规模使得这些模型难以在边缘设备、移动设备甚至资源有限的云服务器上部署和使用。
《脉动阵列：AI硬件加速的“秘密武器”》
脉动阵列（Systolic Array）是一种高效的并行计算架构，灵感源自人体血液循环系统。它通过网格排列的处理单元（PE），以同步并行方式处理数据，尤其在矩阵乘法和卷积运算中表现出色，极大提升了AI计算效率。其优势包括降低内存带宽需求、高运算吞吐率和设计简洁，但也面临灵活性有限、全局同步难等挑战。尽管如此，脉动阵列仍为AI硬件加速提供了重要支持，推动了人工智能技术的发展。
【AI系统】谷歌 TPU 历史发展
本文详细介绍了谷歌TPU的发展历程及其在AI领域的应用。TPU是谷歌为加速机器学习任务设计的专用集成电路，自2016年首次推出以来，经历了多次迭代升级，包括TPU v1、v2、v3、v4及Edge TPU等版本。文章分析了各代TPU的技术革新，如低精度计算、脉动阵列、专用硬件设计等，并探讨了TPU在数据中心和边缘计算中的实际应用效果，以及谷歌如何通过TPU推动移动计算体验的进步。
阿里第一颗芯片问世，平头哥发布最强AI芯片含光800
阿里巴巴第一颗自研芯片正式问世。9月25日的杭州云栖大会上，达摩院院长张建锋现场展示了这款全球最强的AI芯片——含光800。在业界标准的ResNet-50测试中，含光800推理性能达到78563 IPS，比目前业界最好的AI芯片性能高4倍；能效比500 IPS/W，是第二名的3.3倍。
《大模型背后的隐形战场：异构计算调度全解析》
在大模型训练中，CPU、GPU和AI芯片各司其职：CPU擅长逻辑控制，GPU专攻并行计算，AI芯片则针对特定AI任务优化。然而，实现三者的高效协同面临诸多挑战，如任务分配、通信延迟及资源管理等问题。通过动态任务分配、通信优化与资源调整等策略，可提升训练效率。未来，随着硬件进步和算法智能化，异构计算协同调度将更加高效，并结合云计算、边缘计算等技术拓展应用范围，推动人工智能技术发展。
