LLM推理成本直降60%：PD分离在大模型商业化中的关键价值
在LLM推理中，Prefill（计算密集）与Decode（访存密集）阶段特性不同，分离计算可提升资源利用率。本文详解vLLM框架中的PD分离实现及局限，并分析Dynamo、Mooncake、SGLang等主流方案，探讨KV缓存、传输机制与调度策略，助力LLM推理优化。建议点赞收藏，便于后续查阅。
全新开源通义千问Qwen3上架阿里云百炼
Qwen3是Qwen系列大型语言模型的最新成员，作为混合推理模型，其旗舰版本Qwen3-235B-A22B在代码、数学和通用能力测试中表现出色，与顶级模型DeepSeek-R1、o1、o3-mini等相比具有竞争力。小型MoE模型Qwen3-30B-A3B激活参数仅为QwQ-32B的10%，性能更优，甚至小规模模型Qwen3-4B也能匹敌Qwen2.5-72B-Instruct。Qwen3支持思考与非思考两种模式，可根据任务需求灵活调整推理深度，并支持119种语言，Qwen3在推理、工具调用及多语言处理等方面显著提升，目前已开源并在阿里云百炼平台上线，提供便捷体验。
阿里云析言XiYan-SQL智能体，登顶BIRD-CRITIC全球榜单！
阿里云飞天实验室自研数据分析智能体“析言 XiYan-SQL”在全球权威SQL诊断基准BIRD-CRITIC（SWE-SQL）多项榜单中排名第一，超越国内外顶尖团队。该模型在真实数据库问题诊断、跨方言鲁棒性、复杂SQL处理及分布外泛化等方面表现卓越，支持MySQL、PostgreSQL等主流数据库。技术上创新采用模式筛选、多生成器集成与候选重组策略，提升SQL生成质量与系统适应性。核心模型已开源至GitHub、ModelScope和Hugging Face，欢迎开发者体验贡献。
构建AI智能体：六十一、信息论完全指南：从基础概念到在大模型中的实际应用
摘要： 信息论是人工智能尤其是大语言模型的核心数学工具。本文系统介绍了八大核心概念： 信息量：衡量事件意外程度，公式为I(x)=-log₂P(x) 信息熵：评估系统不确定性，H(X)=-ΣP(x)log₂P(x) 联合熵/条件熵：分析多变量关系及条件不确定性 互信息：量化变量间共享信息量 KL散度：衡量概率分布差异 交叉熵：模型训练的核心损失函数 在大语言模型中，这些概念被广泛应用于： 训练阶段：交叉熵优化预测，KL散度防止过拟合 推理阶段：温度参数调节生成文本的创造性（高熵增加多样性）
构建AI智能体：一、初识AI大模型与API调用
本文介绍大模型基础知识及API调用方法，涵盖阿里云百炼平台密钥申请、DashScope SDK使用、Python调用示例（如文本情感分析、图像文字识别），助力开发者快速上手大模型应用开发。
