大数据& AI 产品技术月刊【2025年 12 月】,涵盖 12 月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
一、产品功能发布
人工智能平台 PAI - DLC展示运行实例(Pods) 的所有 IP
DLC 训练运行任务,透出不同算力类型(灵骏智算、通用计算)下单POD IPs,包括节点的机头、机尾,net和rdma等 IP。
人工智能平台 PAI - ArtLab的设计智能体新支持自定义知识库
设计智能体(Design Agent)是PAI-ArtLab推出的Agent能力,通过自然语言指令即可轻松完成高质量的图像生成、视频制作及精细化图片编辑,极大降低创意实现门槛。
ArtLab新发布呜哩训练工具,可低门槛对Qwen-Image、Qwen-Image-Edit等生图大模型进行快速的LoRA微调。
人工智能平台 PAI - PAI-DLC服务发布Ray2.0: RayQuota
PAI DLC基于PAI 资源配额,支持原生Ray的调度和运行能力,同时为客户提供更加原生Ray框架的使用方式,在的AI数据处理、强化学习场景下,为大模型、自动驾驶等行业客户提供标准、稳定和高效产品能力。
人工智能平台 PAI - ArtLab ComfyUI支持调用百炼Wan2.6
PAI-ArtLab ComfyUI中新增支持调用Wan2.6、2.5的文生视频、图生视频、文生图、图片编辑的百炼API。
PAI模型评测(ModelEval)模块新支持双模型离线竞技功能,通过提供已处理好的问题-回答数据集,对比两个模型在相同问题下的表现,方便用户选出效果更好的模型。
云原生大数据计算服务 MaxCompute - 支持Autoscale自动弹性能力
自动弹性功能实现了计算CU资源的按需自动扩缩与按量付费。系统实时感知业务负载变化,自动调整并提供与负载需求相匹配的计算CU资源,并让用户仅为实际自动弹性CU用量付费。既保障作业性能,又优化使用成本。
云原生大数据计算服务 MaxCompute - MaxFrame 新增作业本地化调试功能
MaxFrame 新增作业本地化离线调试功能,无需连接远程服务,支持在 DataWorks Notebook 以及 PyCharm、VSCode 中进行断点调试。
云原生大数据计算服务 MaxCompute - AI计算资源组支持灵活变配
MaxCompute AI计算资源组升降配功能发布,支持用户调整Quota组的GU数量,灵活匹配资源变化需求。
云原生大数据计算服务 MaxCompute - AI助手MaxAgent正式公测
MaxAgent(MaxCompute AI助手)是MaxComopute推出的一款智能运维工具,旨在助您更高效地管理和运维 MaxCompuate。通过合理使用MaxAgent,可以快速查询资源信息、诊断异常作业、获取技术支持等,能帮您提升运维效率和操作体验。
Hologres服务新增开通成都地域,用户可按需开通实例并使用。
Hologres服务新增开通迪拜地域,用户可按需开通实例并使用。
大数据开发治理平台 DataWorks - 数据集成新增对多种整库同步数据源的支持
支持 PostgresSQL 整库实时同步至 AnalyticDB for MySQL、PostgresSQL 整库实时同步至Lindorm、Hive 整库离线同步至 DLF。
大数据开发治理平台 DataWorks - 数据地图新增支持多种数据源的元数据采集
数据地图新增支持 Paimon Catalog 元数据采集; 数据地图新增支持 MongoDB 元数据采集。
大数据开发治理平台 DataWorks - 新增支持 DLF Catalog 数据质量监控
DataWorks 数据质量新增支持对 DLF Omni Catalog 中表的数据质量监控,可支持通过 where 语句限定质量监控范围。
大数据开发治理平台 DataWorks - 开放数据新增数据资产治理/数据质量开放数据视图
基于 DataWorks 开放数据,上线资产治理与质量实例视图,支持通过 SQL 查询数据资产问题、质量详情及统计指标,实现多维度自定义治理与质量分析。
大数据开发治理平台 DataWorks - 运维中心新增多种提效功能
实例的筛选结果支持导出;触发式工作流支持标签筛选;全部业务日期的输入框支持 AI 生成。
开源大数据平台 E-MapReduce - StarRocks支持通过RAM角色关联用户
EMR Serverless StarRocks完善RAM对接,支持StarRocks用户关联RAM用户或RAM角色。
开源大数据平台 E-MapReduce - StarRocks创建实例时关联DLF Catalog
EMR Serverless StarRocks创建实例时,支持关联DLF Catalog,并为admin用户关联RAM用户或RAM角色,为数据湖集成提供便利。
开源大数据平台 E-MapReduce - StarRocks企业级内核Stella1.3.x发布
EMR Serverless StarRocks发布企业级内核 Stella1.3.x 支持企业级功能:支持通过Ranger对存算分离实例下的 Warehouse 粒度的资源进行权限控制,满足企业级安全合规需求;增加存算分离实例的存储读写的重试机制,增强容错能力;支持 Paimon Deletion Vector V2;支持通过 Native Reader 读写 Paimon Format Table。
开源大数据平台 E-MapReduce - StarRocks事件及健康诊断项优化
增加软件栈关键缺陷的版本升级建议提示,以及关键缺陷的橙色提示和事件通知;增加健康诊断>诊断日报的诊断项,优化索引相关诊断项,包括主键表索引持久化是否开启,索引类型是否为cloud_native,分桶大小是否合理等。
开源大数据平台 E-MapReduce - StarRocks AI Function 邀测
1.3.0起,StarRocks支持AI Function能力,将LLM能力嵌入到OLAP分析中,直接调用SQL即可体验AI能力。
开源大数据平台 E-MapReduce - 全托管Spark支持AI Function Beta
EMR Serverless Spark新增支持AI Function功能,提供开箱即用的qwen大模型能力,调用大模型处理海量数据。
开源大数据平台 E-MapReduce - 全托管Spark支持模型服务管理(beta)
新增支持模型服务管理能力,支持注册外部模型服务,在Serverless Spark中调用已注册的外部模型服务能力。
检索分析服务 Elasticsearch版 - Elasticsearch云原生高性能引擎上线
阿里云Elasticsearch云原生高性能引擎FalconSeek全新上线,全面兼容开源语法,通过内核优化提升性能与性价比,适用于高要求下的检索分析和向量搜索场景。
检索分析服务 Elasticsearch版 - 将 DLF 数据同步至阿里云Elasticsearch
Elasticsearch 支持 DLF 多模态数据湖的数据导入,支持 Paimon 数据格式,可加速湖上数据的检索与查询分析。
智能开放搜索 OpenSearch - 发布多模态排序和主体识别服务
提供多模态排序和主体识别服务,完善多模态检索链路中算法组件服务。
智能开放搜索 OpenSearch - 新增多模态向量模型和文档解析模型
新增多模态向量模型ops-mm-embedding-v1-2b和ops-mm-embedding-v1-7b;新增文档解析模型ops-document-analyze-002。
二、产品快讯
Forrester发布流式数据平台报告:Ververica首次跻身领导者行列,实时AI能力获权威认可
Ververica 首次入选 Forrester《流式数据平台报告》领导者象限,成为新晋“领导者”。作为 Apache Flink 创始团队创立、阿里集团全资控股的企业,其凭借卓越的实时AI能力、高吞吐流处理引擎及多云全场景部署优势,在创新性等7项关键指标中获最高分,彰显开源技术在企业级实时智能转型中的核心价值。
【新模型速递】PAI-Model Gallery云上一键部署DeepSeek-V3.2模型
阿里云 PAI-Model Gallery 已支持 DeepSeek-V3.2 与 V3.2-Speciale 一键部署!DeepSeek-V3.2(671B 参数)在通用推理能力上媲美 GPT-5,而 Speciale 版本融合数学证明能力,在多项基准超越 Gemini3 Pro。PAI 提供零代码、企业级安全、开箱即用的云上部署方案,自动适配 SGLang/vLLM 框架,支持灵骏分布式资源,部署后即获 API Endpoint。无需本地算力,轻松调用顶尖开源大模型。
【NeurIPS 2025】阿里云PAI团队动态数据调度方案Skrull入选
阿里云 PAI 团队联合中科院提出的轻量级动态数据调度方案 Skrull 被 NeurIPS 2025 接收。针对长上下文微调中混合长短序列导致的训练效率瓶颈,Skrull 通过在线动态分组(分布式+局部计算)、通信-计算重叠与显存安全回滚机制,在几乎零调度开销下实现平均 3.76 倍、最高 7.54 倍 的训练加速,显著提升长文本大模型训练效率。
在 DataWorks 中一键部署大模型,即刻用于数据集成和数据开发
阿里云 DataWorks 新增大模型服务能力,支持 Qwen3、DeepSeek 等主流模型一键部署至 Serverless 资源组,自动生成 API 并在数据集成与开发任务中直接调用。提供大模型节点、Shell、Python 三种调用方式,免运维、按量付费、内网安全调用,让数据工程师无需 MLOps 背景即可快速构建 AI 增强的数据流水线。
DataWorks 又又又升级了,这次我们通过 Arrow 列存格式让数据同步速度提升10倍!
DataWorks 数据集成引入 Apache Arrow 列存同步能力,列式、零拷贝、内存级传输为同步性能带来显著提升。DataWorks 数据集成正以技术创新为引擎,帮助企业打破数据孤岛、消除性能瓶颈,让数据在湖仓之间、系统之间、业务之间高速、稳定、低成本流动。
三、最佳实践
PAI Physical AI Notebook详解(5):基于Isaac-Cortex的软件在环验证
详解PAI-DSW结合Isaac Sim与Cortex构建软件在环(SIL)验证系统,利用noVNC实现便捷可视化。通过多进程架构分离仿真与感知(FastSAM + FoundationPose),完成机械臂抓取任务的闭环验证,支持zero-shot迁移到真机,显著提升物理AI算法研发效率。
基于 PAI 和 CosyVoice 搭建高性能语音合成服务
阿里云 PAI 平台推出高性能 CosyVoice 语音合成服务,支持30秒音色克隆与跨语种复刻。通过架构解耦、流式首包优化(<200ms)、音色Embedding预加载缓存、动态负载均衡及智能弹性伸缩,显著降低延迟、提升吞吐。
OmniThoughtV:面向多模态深度思考的高质量数据蒸馏
阿里云 PAI 发布 OmniThoughtV——首个开源大规模多模态长思考蒸馏数据集,含180万原始样本与50万高难度高质量筛选数据。基于 EasyDistill 框架,通过结构化思维链标注与“难度优先”过滤策略,显著提升小模型推理能力。实验表明,蒸馏后的 Qwen3-VL-4B 性能超越原生 8B 模型,在 AI2D、MMMU 等多模态推理任务上实现参数量减半、效果反超,推动开源多模态模型向深度思考迈进。
MaxCompute SQL AI:让SQL成为你的AI语言
MaxCompute SQL AI 正式上线,支持通过标准 SQL 语句直接调用大模型,实现文本生成、情感分析等AI任务。内置多款 Qwen3、DeepSeek 等公共模型,兼容远程与自定义模型,无需切换环境、零代码集成。具备统一管理、安全合规、多引擎协同和简化运维优势,让数据分析师用熟悉 SQL 即可构建智能数据流水线。
一站式构建 AI 数据处理 Pipeline:DataWorks Notebook + MaxCompute MaxFrame 快速入门指南
DataWorks Notebook + MaxCompute MaxFrame 提供一站式 AI 数据处理方案:通过 Jupyter 风格交互开发,兼容 Pandas API 的分布式计算,无缝对接 PB 级数据,支持安全管控、任务调度与 Logview 运维,助力高效构建端到端 AI 数据 Pipeline。
Apache Paimon多模态数据湖实践:从结构化到非结构化的技术演进
Apache Paimon 通过列分离架构与全局 Row ID 解决结构化特征“列爆炸”问题,实现高效列变更;引入 Blob 数据类型支持多模态非结构化数据,实现物理分离存储、统一接口和 blob-as-descriptor 大文件处理机制。已在淘宝等场景日均处理近10PB多模态数据,并规划去重、小文件合并、全局索引等能力,构建面向AI原生时代的统一高效数据湖底座。
Hologres Dynamic Table:高效增量刷新,构建实时统一数仓的核心利器
Hologres Dynamic Table 通过有状态增量计算模型,实现高效增量刷新,解决传统全量刷新在亿级数据下延迟高、成本大的问题。支持复杂多表 Join 与聚合场景,仅处理新增/变更数据,结合中间状态持久化,显著提升性能。实测显示,相比无状态方案,增量刷新速度提升5–20倍,存储可控,适用于实时数仓、特征宽表等核心场景,助力构建低延迟、低成本的统一实时数据体系。
Fusion 引擎赋能:七猫如何使用阿里云 EMR Serverless Spark 实现数仓加速
七猫基于阿里云 EMR Serverless Spark 重构数仓,借助 Fusion 向量化加速与 Celeborn Shuffle 服务,核心批处理任务平均提速超56%;通过 Serverless 弹性架构实现秒级扩缩容、作业级资源隔离与成本精细化管控,离线链路成本降低35%,天级报表提前5小时产出,连续60天无SLA中断,显著提升数据处理效率与业务敏捷性。
StarRocks + Paimon: 构建 Lakehouse Native 数据引擎
StarRocks 深度集成 Apache Paimon,通过 Native Reader/Writer、Distributed Plan、DV Index Cache 等优化,实现湖上查询性能提升5倍+,支持 Time Travel 与联邦分析,正迈向“Lakehouse Native”——让数据湖查询体验对齐本地表。
一行代码,让Elasticsearch 集群瞬间雪崩——5000W 数据压测下的性能避坑全攻略
Elasticsearch 中 wildcard 模糊查询在大数据量下易引发集群雪崩。本文基于 5000 万数据压测,对比 keyword、Ngram、search_as_you_type 和 wildcard 四种方案,指出 wildcard 字段类型是兼顾性能、准确与易用的最佳通用选择。阿里云 ES Serverless 提供智能限流熔断与无感内核升级,有效防御“杀手查询”,保障高可用,助力企业安全高效使用模糊搜索。
打破 IK 分词“架构陷阱”——阿里云 ES Serverless 索引级词典的完美热更新实践
开源 IK 分词器因全局词典热更新易导致新旧数据搜索错配,引发线上事故。阿里云 ES Serverless 创新推出“索引级词典”能力,实现词典与索引绑定,支持多版本并行、原子切换,彻底解决分词时空错乱问题。配合别名流量切换,实现热词更新零中断、精准匹配、存量数据无损,让中文搜索热更新安全可靠。
1TB数据,ES却收到了2TB?揪出那个客户端中的“隐形复读机”
通过配置抢占式认证(如Java的CredentialsProvider、Python的basic_auth)或使用API Key可彻底避免。阿里云ES Serverless提供401/200状态码监控与全量日志,快速定位“隐形复读机”,助企业节省50%无效流量成本。
真实案例复盘:从“三套烟囱”到 All in ES,这家企业如何砍掉 40%运维成本
娱乐平台通过“All in 阿里云 Elasticsearch”整合搜索、日志与向量三套烟囱系统,实现架构统一。借助 Serverless Indexing Service 和 OpenStore 混合存储,日志成本降60%;利用内核级向量引擎 FalconSeek,删减胶水代码,查询延迟降低、性能提升4倍以上。整体运维成本减少40%,系统更稳定、开发更高效,验证了“统一技术栈即生产力”的云原生演进路径。