# 大模型优化与压缩技术：2025年的实践与突破
2025年，随着大语言模型的规模和复杂度不断提升，模型优化与压缩技术已成为AI产业落地的关键瓶颈和研究热点。根据最新统计，顶级大语言模型的参数规模已突破万亿级别，如DeepSeek-R1模型的6710亿参数规模，这带来了前所未有的计算资源需求和部署挑战。在这种背景下，如何在保持模型性能的同时，降低计算成本、减少内存占用、提升推理速度，已成为学术界和产业界共同关注的核心问题。
《深度揭秘：TPU张量计算架构如何重塑深度学习运算》
TPU（张量处理单元）是谷歌为应对深度学习模型计算需求而设计的专用硬件。其核心矩阵乘法单元（MXU）采用脉动阵列架构，显著提升矩阵运算效率；内存管理单元优化数据流通，减少瓶颈；控制单元协调系统运作，确保高效稳定。TPU在训练和推理速度、能耗方面表现出色，大幅缩短BERT等模型的训练时间，降低数据中心成本。尽管通用性和易用性仍有挑战，但TPU已为深度学习带来革命性变化，未来有望进一步优化。
24_BERT模型详解：从预训练到微调的全方位指南
BERT（Bidirectional Encoder Representations from Transformers）是由Google AI在2018年推出的革命性预训练语言模型，它彻底改变了自然语言处理（NLP）领域的格局。通过创新的双向训练方式，BERT能够捕捉词语在上下文环境中的完整语义信息，从而在各种下游任务中取得了突破性的表现。
大模型推理显存和计算量估计方法
最近做吞吐量调试涉及到输入batch_size的设置，为了把算力和显存用起来，同时不触发out of memory，需要提前估计大模型推理过程中的显存占用
NPU上运行onnxruntime
在Ascend环境下使用onnxruntime推理时，若安装了GPU版本的onnxruntime（`onnxruntime-gpu`），可能会因缺少CUDA组件报错。正确做法是卸载`onnxruntime-gpu`，并根据官方文档适配NPU，通过源码构建支持CANN的onnxruntime whl包。具体步骤为克隆onnxruntime源码，使用`--use_cann`参数构建，并安装生成的whl包。最后，配置CANNExecutionProvider进行推理。
