TensorRT 模型加速——输入、输出、部署流程
本文首先简要介绍 Tensor RT 的输入、输出以及部署流程，了解 Tensor RT 在部署模型中起到的作用。然后介绍 Tensor RT 模型导入流程，针对不同的深度学习框架，使用不同的方法导入模型。
动手实践：从零开始训练AI模型的全面指南
【7月更文第14天】随着人工智能技术的飞速发展，训练AI模型已成为科研、工程乃至创业领域的热门技能。本文旨在为初学者提供一个清晰、实用的指南，带领大家从零开始，了解并实践如何训练一个人工智能模型。我们将以一个简单的线性回归任务为例，逐步深入，探讨数据预处理、模型构建、训练过程及评估方法，最后展示如何使用Python和深度学习库PyTorch实现这一过程。
118_LLM模型量化与压缩：从理论到2025年实践技术详解
大型语言模型（LLM）在自然语言处理领域取得了前所未有的成功，但模型规模的快速增长带来了巨大的计算和存储挑战。一个典型的大型语言模型（如GPT-4或LLaMA 3）可能包含数千亿甚至万亿参数，需要数百GB甚至TB级的存储空间，并且在推理时需要大量的计算资源。这种规模使得这些模型难以在边缘设备、移动设备甚至资源有限的云服务器上部署和使用。
LMDeploy 部署 VLMs 的方法与探讨
LMDeploy 部署 VLMs 的方法与探讨 LMDeploy 是一个高效且友好的大型语言模型（LLMs）和视觉-语言模型（VLMs）部署工具箱，由上海人工智能实验室模型压缩和部署团队开发，涵盖了模型量化、离线推理和在线服务等功能。
一文快速读懂Transformer
Transformer模型近年来成为自然语言处理（NLP）领域的焦点，其强大的特征提取能力和并行计算优势在众多任务中取得显著效果。本文详细解读Transformer的原理，包括自注意力机制和编码器-解码器结构，并提供基于PyTorch的代码演示，展示了其在文本分类等任务中的应用。
