人工智能平台PAI

阿里云 PAI 团队基于 EasyDistill 框架，创新性地采用推理冗余度(RV)和认知难度(CD)双指标筛选机制，实现思维链与模型能力的精准匹配，发布新一代推理模型 DistillQwen-ThoughtY。相关模型和数据集已在 hugging face/ModelScope 等开源社区开放，配套 EasyDistill 框架支持高效知识蒸馏。近期内将推出 DistillQwen-ThoughtY 模型在 PAI-ModelGallery 的一键部署、训练和评测实践。

在AI技术飞速发展的今天，大语言模型（LLM）、多模态模型等前沿技术正深刻改变行业格局。推理服务是大模型从“实验室突破”走向“产业级应用”的必要环节，需直面高并发流量洪峰、低延时响应诉求、异构硬件优化适配、成本精准控制等复杂挑战。 阿里云人工智能平台 PAI 致力于为用户提供全栈式、高可用的推理服务能力。在本系列技术专题中，我们将围绕分布式推理架构、Serverless 弹性资源全球调度、压测调优和服务可观测等关键技术方向，展现 PAI 平台在推理服务侧的产品能力，助力企业和开发者在 AI 时代抢占先机，让我们一起探索云上 AI 推理的无限可能，释放大模型的真正价值！

PAI-TurboX 为自动驾驶场景中的复杂数据预处理、离线大规模模型训练和实时智能驾驶推理，提供了全方位的加速解决方案。PAI-Notebook Gallery 提供PAI-TurboX 一键启动的 Notebook 最佳实践

Post-Training（即模型后训练）作为大模型落地的重要一环，能显著优化模型性能，适配特定领域需求。相比于 Pre-Training（即模型预训练），Post-Training 阶段对计算资源和数据资源需求更小，更易迭代，因此备受推崇。近期，我们将体系化地分享基于阿里云人工智能平台 PAI 在强化学习、模型蒸馏、数据预处理、SFT等方向的技术实践，旨在清晰地展现 PAI 在 Post-Training 各个环节的产品能力和使用方法，欢迎大家随时交流探讨。

阿里云人工智能平台PAI 平台推出模型权重服务，通过分布式缓存架构、RDMA高速传输、智能分片等技术，显著提升大语言模型部署效率，解决模型加载耗时过长的业界难题。实测显示，Qwen3-32B冷启动时间从953秒降至82秒（降幅91.4%），扩容时间缩短98.2%。

通过 PAI-ModelGallery，可一站式零代码完成 DistilQwen-ThoughtX 系列模型的训练、评测、压缩和部署。

阿里云PAI团队开发的 OmniThought 数据集，其中包含200万思维链，并标注了推理冗余度（RV）和认知难度（CD）分数。基于此数据集，我们还推出了 DistilQwen-ThoughtX 系列模型，可以通过RV和CD分数对思维链进行筛选，训练得到的模型获得根据问题和本身的认知能力，生成变长思维链的能力。同时在 EasyDistill 框架中开源了 OmniThought 数据集和 DistilQwen-ThoughtX 模型的全部权重。这些模型在性能上超过了 DeepSeek-R1-Distill 系列。

本文介绍了阿里云人工智能平台 PAI 推出的开源工具包 EasyDistill。随着大语言模型的复杂性和规模增长，它们面临计算需求和训练成本的障碍。知识蒸馏旨在不显著降低性能的前提下，将大模型转化为更小、更高效的版本以降低训练和推理成本。EasyDistill 框架简化了知识蒸馏过程，其具备多种功能模块，包括数据合成、基础和进阶蒸馏训练。通过数据合成，丰富训练集的多样性；基础和进阶蒸馏训练则涵盖黑盒和白盒知识转移策略、强化学习及偏好优化，从而提升小模型的性能。

本篇文章介绍 Cosmos 最新世界基础模型 Cosmos Reason-1 如何在阿里云人工智能平台 PAI 上进行快速部署使用。

Multimodal LLM训练-模型文件\训练数据加载逻辑源码分析

PAI-LangStudio 和 Qwen3 构建基于 MCP 协议的 Hologres ChatBI 智能 Agent 应用，通过将 Agent、MCP Server 等技术和阿里最新的推理模型 Qwen3 编排在一个应用流中，为大模型提供了 MCP+OLAP 的智能数据分析能力，使用自然语言即可实现 OLAP 数据分析的查询效果，减少了幻觉。开发者可以基于该模板进行灵活扩展和二次开发，以满足特定场景的需求。

DistilQwen 系列是阿里云人工智能平台 PAI 推出的蒸馏语言模型系列，包括 DistilQwen2、DistilQwen2.5、DistilQwen2.5-R1 等。本文详细介绍DistilQwen2.5-DS3-0324蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践。

本文详细介绍了如何使用 PAI-LangStudio 和 Qwen3 构建基于 RAG 和联网搜索 的 AI 智能问答应用。该应用通过将 RAG、web search 等技术和阿里最新的推理模型 Qwen3 编排在一个应用流中，为大模型提供了额外的联网搜索和特定领域知识库检索的能力，提升了智能回答的效果，减少了幻觉。开发者可以基于该模板进行灵活扩展和二次开发，以满足特定场景的需求。

阿里云PAI-全模态模型Qwen2.5-Omni-7B推理浅试

最近在微调LLM的时候，我发现使用uv构建的环境，有时候会找不到Python.h，导致一些库报错，如`fatal error: Python.h: No such file or directory`。通过设置`python-preference`可以解决。

Qwen3 是 Qwen 系列最新一代的大语言模型，提供了一系列密集（Dense）和混合专家（MOE）模型。目前，PAI 已经支持 Qwen3 全系列模型一键部署，用户可以通过 PAI-Model Gallery 快速开箱！

4月27日，阶跃星辰正式发布并开源图像编辑大模型 Step1X-Edit，性能达到开源 SOTA。Step1X-Edit模型总参数量为19B，实现 MLLM 与 DiT 的深度融合，在编辑精度与图像保真度上实现大幅提升，具备语义精准解析、身份一致性保持、高精度区域级控制三项关键能力；支持文字替换、风格迁移等11 类高频图像编辑任务类型。在最新发布的图像编辑基准 GEdit-Bench 中，Step1X-Edit 在语义一致性、图像质量与综合得分三项指标上全面领先现有开源模型，比肩 GPT-4o 与 Gemin。PAI-ModelGallery 支持Step1X-Edit一键部署方案。

作为国内首个千亿级开源 MoE 模型，DeepSeek-R1 凭借其卓越的代码生成与复杂推理能力，已成为开发者构建智能应用的首选。然而，原始模型在产业落地中面临严峻挑战，部署 671B 满血版模型不仅硬件门槛要求很高，同时吞吐效率和响应延迟也受到了制约。PAI 正式推出了优化版 DeepSeek-R1 模型 DeepSeek-R1-PAI-optimized，将大模型推理效率推向了 Next Level。

AI时代飞速发展，大模型和AI的应用创新不断涌现，面对百花齐放的AI模型，阿里云计算平台大数据AI解决方案总监魏博文分享如何通过阿里云提供的大数据AI一体化平台，解决企业开发难、部署繁、成本高等一系列问题，让中小企业快速搭建AI应用。

DistilQwen 系列是阿里云人工智能平台 PAI 推出的蒸馏语言模型系列，包括DistilQwen2、DistilQwen2.5、DistilQwen2.5-R1 等。DistilQwen2.5-DS3-0324 系列模型是基于 DeepSeek-V3-0324 通过知识蒸馏技术并引入快思考策略构建，显著提升推理速度，使得在资源受限的设备和边缘计算场景中，模型能够高效执行复杂任务。实验显示，DistilQwen2.5-DS3-0324 系列中的模型在多个基准测试中表现突出，其32B模型效果接近参数量接近其10倍的闭源大模型。

阿里云的人工智能平台 PAI，作为一站式的机器学习和深度学习平台，对DistilQwen2.5-R1模型系列提供了全面的技术支持。无论是开发者还是企业客户，都可以通过 PAI-ModelGallery 轻松实现 Qwen2.5 系列模型的训练、评测、压缩和快速部署。本文详细介绍在 PAI 平台使用 DistilQwen2.5-R1 蒸馏模型的全链路最佳实践。

大数据& AI 产品技术月刊【2025年3月】，涵盖3月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解阿里云大数据& AI 方面最新动态。

DistilQwen2.5-R1通过知识蒸馏技术，将大规模深度推理模型的知识迁移到小模型中，显著提升了小模型的推理能力。实验结果表明，DistilQwen2.5-R1在数学、代码和科学问题等多个基准测试中表现优异，尤其在7B参数量级上超越了其他开源蒸馏模型。 本文将深入阐述 DistilQwen2.5-R1 的蒸馏算法、性能评估，并且提供在阿里云人工智能平台 PAI 上的使用指南及相关下载教程。

PAI-Model Gallery 集成国内外 AI 开源社区中优质的预训练模型，涵盖了 LLM、AIGC、CV、NLP 等各个领域，用户可以通过 PAI 以零代码方式实现从训练到部署再到推理的全过程，获得更快、更高效、更便捷的 AI 开发和应用体验。 现阿里云PAI-Model Gallery已同步接入DeepSeek-V3-0324、Qwen2.5-VL-32B-Instruct两大新模型，提供企业级部署方案。

本文介绍了时间差分法（TD）中的两种经典算法：SARSA和Q-Learning。二者均为无模型强化学习方法，通过与环境交互估算动作价值函数。SARSA是On-Policy算法，采用ε-greedy策略进行动作选择和评估；而Q-Learning为Off-Policy算法，评估时选取下一状态中估值最大的动作。相比动态规划和蒙特卡洛方法，TD算法结合了自举更新与样本更新的优势，实现边行动边学习。文章通过生动的例子解释了两者的差异，并提供了伪代码帮助理解。

阿里云人工智能平台 PAI 推出 PAI-Judge 裁判员大模型，为用户构建符合应用场景的多维度、细粒度的评测体系，支持单模型评测和双模型竞技两种模式，允许用户自定义参数，实现准确、灵活、高效的模型自动化评测，为模型迭代优化提供数据支撑。 相比通用大模型尤其在回答确定性/数学类问题、角色扮演、创意文体写作、翻译等场景下，PAI-Judge 系列模型表现优异，可以直接用于大模型的评估与质检。

本文介绍了强化学习中的蒙特卡罗算法，包括其基本概念、两种估值方法（首次访问蒙特卡罗与每次访问蒙特卡罗）及增量平均优化方式。蒙特卡罗法是一种基于完整回合采样的无模型学习方法，通过统计经验回报的平均值估计状态或动作价值函数。文章详细讲解了算法流程，并指出其初期方差较大、估值不稳定等缺点。最后对比动态规划，说明了蒙特卡罗法在强化学习中的应用价值。适合初学者理解蒙特卡罗算法的核心思想与实现步骤。

本文介绍了基于模型的强化学习算法，重点讲解动态规划（DP）。动态规划通过分解问题为子问题求解状态价值函数，利用贝尔曼期望方程迭代更新。其核心性质包括最优子结构和重叠子问题，适用于已知转移概率和奖励的MDP场景。文章回顾了前期强化学习基础，并展望了后续内容如蒙特卡罗法。适合初学者系统了解强化学习算法原理与应用。

本博客以实践为主，带领读者巩固上期关于“Markov决策过程”的核心概念。通过构建学生马尔可夫奖励模型、计算收获值与状态价值，进一步验证贝尔曼方程。详细介绍了转移概率、奖励值及策略概率的设置，并实现了均匀随机策略下的状态价值计算与最优策略的价值评估。结合代码实例，帮助读者深入理解强化学习理论。适合初学者实践与进阶学习。

本文是“手把手教你入门强化学习”系列的第二篇，重点讲解了强化学习的核心数学模型——Markov决策过程（MDP）。文章从马尔可夫性质出发，逐步引入马尔可夫过程、马尔可夫奖励过程，最终深入到马尔可夫决策过程，详细解析了状态转移、奖励机制、价值函数及贝尔曼方程等关键概念。同时，文中还介绍了策略函数、最优价值函数等内容，并指出求解强化学习问题的关键在于寻找最优策略。通过理论推导与实践结合的方式，帮助读者更好地理解强化学习基础原理。

本文开启“手把手教你入门强化学习”专栏，介绍强化学习基础概念及实践。强化学习通过智能体与环境交互，学习最优策略以最大化累积奖励，适用于复杂动态决策问题。文章讲解智能体、环境等核心概念，并使用Gym库进行案例实操，如CartPole和MountainCar环境的代码实现。最后预告下期将深入马尔科夫决策过程（MDP）。适合初学者系统了解强化学习并动手实践。创作不易，欢迎关注、点赞与收藏！

DistilQwen2.5 是阿里云人工智能平台 PAI 推出的全新蒸馏大语言模型系列。通过黑盒化和白盒化蒸馏结合的自研蒸馏链路，DistilQwen2.5各个尺寸的模型在多个基准测试数据集上比原始 Qwen2.5 模型有明显效果提升。这一系列模型在移动设备、边缘计算等资源受限的环境中具有更高的性能，在较小参数规模下，显著降低了所需的计算资源和推理时长。阿里云的人工智能平台 PAI，作为一站式的机器学习和深度学习平台，对 DistilQwen2.5 模型系列提供了全面的技术支持。本文详细介绍在 PAI 平台使用 DistilQwen2.5 蒸馏小模型的全链路最佳实践。

PAI-Rec推荐平台针对实时特征有三个处理层次：1) 离线模拟反推历史请求时刻的实时特征；2) FeatureStore记录增量更新的实时特征，模型特征导出样本准确性达99%；3) 通过callback回调接口记录请求时刻的特征。各层次确保了实时特征的准确性和时效性。

Pai-Megatron-Patch 是一款由阿里云人工智能平台PAI 研发的围绕英伟达 Megatron 的大模型训练配套工具，旨在帮助开发者快速上手大模型，打通大模型相关的高效分布式训练、有监督指令微调、下游任务评估等大模型开发链路。本文以 Qwen2-VL 为例，从易用性和训练性能优化两个方面介绍基于 Megatron 构建的 Pai-Megatron-Patch 多模态大模型训练的关键技术

3月6日阿里云发布并开源了全新推理模型通义千问 QwQ-32B，在一系列权威基准测试中，千问QwQ-32B模型表现异常出色，几乎完全超越了OpenAI-o1-mini，性能比肩Deepseek-R1，且部署成本大幅降低。并集成了与智能体 Agent 相关的能力，够在使用工具的同时进行批判性思考，并根据环境反馈调整推理过程。阿里云人工智能平台 PAI-Model Gallery 现已经支持一键部署 QwQ-32B，本实践带您部署体验专属 QwQ-32B模型服务。

阿里云视频生成大模型万相2.1（Wan）重磅开源！Wan2.1 在处理复杂运动、还原真实物理规律、提升影视质感以及优化指令遵循方面具有显著的优势，轻松实现高质量的视频生成。同时，万相还支持业内领先的中英文文字特效生成，满足广告、短视频等领域的创意需求。阿里云人工智能平台 PAI-Model Gallery 现已经支持一键部署阿里万相重磅开源的4个模型，可获得您的专属阿里万相服务。

为解决大语言模型在资源有限环境下的高计算成本和复杂性问题，阿里云推出了基于 Qwen2.5 的轻量化模型系列 DistilQwen2.5。该模型通过双层蒸馏框架、数据优化策略及参数融合技术，在保留性能的同时显著降低计算资源消耗。本文提供了详细的使用教程和代码示例，方便用户在 PAI 平台上调用。

DeepSeek-AI 开源的 FlashMLA 是一个优化多层注意力机制的解码内核，显著提升大语言模型的长序列处理和推理效率。本文介绍了如何在 PAI 平台上安装并使用 FlashMLA 部署 DeepSeek-V2-Lite-Chat 模型。通过优化后的 FlashMLA，实现了约 16% 的性能提升。

本文将为您带来“DeepSeek R1+Qwen 大模型蒸馏和微调训练”最佳实践。阿里云 PAI 平台提供了围绕 DeepSeek 模型的最佳实践，涵盖快速部署、应用搭建、蒸馏和微调等环节，帮助开发者高效利用计算资源，使用 Model Gallery 功能，轻松完成部署与微调任务。

检索增强生成模型结合了信息检索与生成式人工智能的优点，从而在特定场景下提供更为精准和相关的答案。以人工智能平台 PAI 为例，为您介绍在云上使用一站式白盒化大模型应用开发平台 PAI-LangStudio 构建面向教育场景的大模型 RAG 检索增强解决方案，应用构建更简便，开发环境更直观。此外，PAI 平台同样发布了面向医疗、金融和法律领域的 RAG 解决方案。

本文将为您带来“基于 PAI-RAG 构建 DeepSeek 联网搜索+企业级知识库助手服务”解决方案，PAI-RAG 提供全面的生态能力，支持一键部署至企业微信、微信公众号、钉钉群聊机器人等，助力打造多场景的AI助理，全面提升业务效率与用户体验。

简介：本文探讨光学字符识别（OCR）技术与大语言模型（LLM）结合带来的革新。传统OCR在处理模糊文本、复杂排版时存在局限，而LLM的语义理解、结构解析和多模态处理能力恰好弥补这些不足。文中通过代码实例展示了两者融合在错误校正、文档解析、多语言处理、语义检索及流程革新上的五大优势，并以财务报表解析为例，说明了该技术组合在实际应用中的高效性。此外，文章也展望了未来的技术发展趋势，包括多模态架构、小样本学习和边缘计算部署等方向，预示着文本处理技术正迈向智能认知的新时代。（240字）

Step-Video-T2V 是一个最先进的 (SoTA) 文本转视频预训练模型，具有 300 亿个参数，能够生成高达 204 帧的视频；Step-Audio 则是行业内首个产品级的开源语音交互模型，通过结合 130B 参数的大语言模型，语音识别模型与语音合成模型，实现了端到端的文本、语音对话生成，能和用户自然地进行高质量对话。PAI Model Gallery 已支持阶跃星辰最新发布的 Step-Video-T2V 文生视频模型与 Step-Audio-Chat 大语言模型的一键部署，本文将详细介绍具体操作步骤。

国产AI神器Deepseek，本地离线使用教程！

本文将为您带来“PAI+DeepSeek，30分钟打造支持连网搜索+私有知识库的智能应用”最佳实践，大模型能力、联网能力再加持 RAG 方案，实现 DeepSeek 系列模型与现有业务的高效融合。

深度探索 DeepSeek：5 分钟部署，零成本体验强大推理能力

上海AI实验室周伯文团队的最新研究显示，7B版本的DeepSeek模型在性能上超越了R1满血版。该成果强调了计算最优Test-Time Scaling的重要性，并提出了一种创新的“弱到强”优化监督机制的研究思路，区别于传统的“从强到弱”策略。这一方法不仅提升了模型性能，还为未来AI研究提供了新方向。