vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
得益于阿里云函数计算的产品能力，魔搭 SwingDeploy 后的模型推理 API 服务默认具备极致弹性伸缩（缩零能力）、GPU 虚拟化（最小 1GB 显存粒度）、异步调用能力、按用付费、闲置计费等能力，这些能力帮助算法工程师大大加快了魔搭开源模型投入生产的生命周期。
在数字化时代，线上购物已成为消费者生活中不可或缺的消费方式，而消费者的购物习惯和需求逐渐呈现多样化的趋势，为了帮助商家全天候、自动化地满足顾客的购物需求，本方案将详细介绍如何基于商品内容构建一个智能商品导购助手。
通义灵码2.0引入了DeepSeek V3与R1模型，新增Qwen2.5-Max和QWQ模型，支持个性化服务切换。阿里云发布开源推理模型QwQ-32B，在数学、代码及通用能力上表现卓越，性能媲美DeepSeek-R1，且部署成本低。AI程序员功能涵盖表结构设计、前后端代码生成、单元测试与错误排查，大幅提升开发效率。跨语言编程示例中，成功集成DeepSeek-R1生成公告内容。相比1.0版本，2.0支持多款模型，丰富上下文类型，具备多文件修改能力。总结显示，AI程序员生成代码准确度高，但需参考现有工程风格以确保一致性，错误排查功能强大，适合明确问题描述场景。相关链接提供下载与原文参考。
本文基于 2023 云栖大会上关于 Koordinator 分享的实录，介绍小红书通过规模化落地混部技术来大幅提升集群资源效能，降低业务资源成本。
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
SDCon 全球软件技术大会上，阿里云通义灵码团队分享了关于 AI 辅助编码的最新研究与实践，随着 AIGC 技术的发展，软件研发领域将迎来智能化的新高度，助力 DevOps 流程优化，提升研发效率和研发幸福感。
通义灵码在企业版里还引入了一个超酷的新技能：RAG（Retrieval-Augmented Generation）检索增强生成的能力，本文就跟大家分享下企业知识库能帮开发者做些什么。
