大数据& AI 产品技术月刊【2025年 11 月】，涵盖 11 月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解阿里云大数据& AI 方面最新动态。
一、产品功能发布
PAI-EAS实时日志，支持流式输出模型服务实例的日志，实现毫秒级延迟展示，无缝追踪服务状态与调试信息。
人工智能平台 PAI - PAI-EAS发布CosyVoice语音生成场景化部署
PAI-EAS支持CosyVoice高保真语音合成模型，适用于客服对话、有声书朗读、短视频配音等多种场景。
人工智能平台 PAI - DSW OpenAPI支持PrivateLink调用
通过PrivateLink调用能力支持客户在办公网/本地IDC（需要预先和阿里云VPC打通）调用DSW的OpenAPI进行实例管理或功能集成。
人工智能平台 PAI - Ray on DLC 支持动态扩缩容
Ray on DLC 新增动态扩缩容能力，支持用户配置最小和最大实例数，结合Quota抢占机制，实现任务扩缩策略，达到全局任务和资源使用最优平衡。
人工智能平台 PAI - PAI-Model Gallery 支持更多模型和能力
（1）支持业界前沿开源模型：包括Kimi-Linear-48B-A3B-Instruct， Kimi-K2-Thinking，DeepSeek-V3.2-Exp-Int8-W8A8，DeepSeek-Math-V2等；
（2）Qwen3-VL 系列全面支持微调：12个视觉语言模型全部开放微调能力；
（3）推出 PAI 优化版 Qwen3-Next 模型：Qwen3-Next-80B-A3B-Instruct-FP8-PAI-optimized，提供性能优化版PD分离部署方案。
云原生大数据计算服务 MaxCompute - AI计算资源正式商业化
MaxCompute上线AI计算资源，拓展异构计算能力，支持用户按需在CPU和GPU资源中灵活切换，以满足Data+AI融合场景（如数据处理+离线推理一体化）对不同资源算力的需求。
云原生大数据计算服务 MaxCompute - MaxQA正式商业化
查询加速MaxQA是MaxCompute提供的“近实时场景”下的查询性能优化功能，对管控链路、查询优化器、执行引擎、存储引擎以及缓存机制等多个环节进行全面优化，适用于BI场景等低延迟高稳定的业务场景。
云原生大数据计算服务 MaxCompute - SQL分析新版功能发布
阿里云MaxCompute控制台SQL分析功能全新升级，与DataWorks新版数据开发深度融合，新增支持智能化SQL编辑器、数据目录等能力，为用户提供更高效、更智能、更统一的数据分析与元数据管理体验。
云原生大数据计算服务 MaxCompute - MaxFrame OSS 挂载（邀测）
MaxFrame 新增 OSS 挂载能力，实现 OSS Bucket 与 MaxCompute 本地文件系统的无缝映射。
云原生大数据计算服务 MaxCompute - MaxFrame AI Function 功能扩展
新增支持 AI Function On GU （GPU），支持更多尺寸大模型，同时利用 GPU 算力提升批量离线推理效率。
云原生大数据计算服务 MaxCompute - MaxFrame UDF 支持使用 GU 计算资源
MaxFrame 新增接口增加对AI计算资源（GPU）资源调度功能，为 MaxFrame UDF（用户自定义函数）提供了精细化的GPU资源管理能力。
云原生大数据计算服务 MaxCompute - 新增 Ubuntu 操作系统自定义镜像支持
MaxCompute 镜像管理正式引入Ubuntu操作系统生态支持，为开发者构建更为多元化的计算环境提供更好的兼容性与扩展性支撑。此次更新涵盖内置镜像与自定义镜像。
大数据开发治理平台 DataWorks - 数据集成支持公共数据源作为来源
数据来源新增公共数据源，进一步丰富可使用的数据源。
大数据开发治理平台 DataWorks - 数据集成新增多源异构实时/离线同步能力
支持 Hologres、PostgreSQL、OceanBase 等实时/离线同步至 Lindorm、MaxCompute 等，并新增对 AWS S3 和 Databricks 的读写支持。
大数据开发治理平台 DataWorks - 调度 for-each 节点及调度参数多项升级
调度与工作流能力增强，支持for-each 节点并行循环数提高到20，支持特殊字符参数及动态工作流命名。
大数据开发治理平台 DataWorks - 新增 Dependent 节点
通过 Dependent 节点可以配置跨多周期的复杂依赖，提升任务调度配置的便捷度。
大数据开发治理平台 DataWorks - 支持AnalyticDB Spark计算资源
可通过 Magic Command 快捷连接至AnalyticDBSpark 计算资源，实现 PySpark 数据开发场景。
大数据开发治理平台 DataWorks - 数据分析 SQL 查询结果支持导出至对象存储 OSS
在数据分析 SQL 查询中运行生成查询结果，可通过“导出>对象存储 OSS ”按钮来快捷导出，实现数据归档与复用。
大数据开发治理平台 DataWorks - 数据分析数据目录新增支持 ClickHouse 数据源
在数据分析的目录树中，添加目录时支持选择 ClickHouse 数据源类型，方便快捷查看对应基础元数据信息。
实时数仓 Hologres - External Dynamic Table 增量写湖
支持External Dynamic Table增量读写湖数据（paimon），快速帮助业务实现湖数据读写和自动加工，缩短数据加工时效性，减少加工任务的维护，提升数仓开发敏捷性。
开源大数据平台 E-MapReduce - StarRocks告警模板发布
提供了一系列针对核心性能与稳定性的预设告警模板，覆盖可用性、资源负载、集群服务状态及典型业务场景等关键维度。
开源大数据平台 E-MapReduce - StarRocks企业级内核Stella1.2.x发布
StarRocks 发布企业级内核 Stella1.2.x 支持以下企业级功能：支持 Paimon Native Writer，性能极大提升，适用于湖仓加工场景；支持 DLF Iceberg Catalog；支持 Paimon TimeTravel 功能。
开源大数据平台 E-MapReduce - 全托管 Spark 队列支持混合计费
全托管 Spark 队列支持同时分配按量配额与包年包月配额的混合计费模式，提供结合按量付费的灵活性与包年包月的成本效益的计费策略。
开源大数据平台 E-MapReduce - 全托管 Spark 支持同时添加使用多类型数据目录
全托管 Spark 单工作空间支持同时添加使用HMS、DLF 1.0、DLF（原DLF 2.5）数据目录。
开源大数据平台 E-MapReduce - 全托管Spark 数据开发流任务
全托管Spark 数据开发流任务支持配置任务失败后的自动重试策略及重试间隔时间。
开源大数据平台 E-MapReduce - 全托管Spark 资源观测用量统计
Serverless Spark 资源观测支持按天粒度查询，可查看最近7天及30天资源用量消耗趋势。
开源大数据平台 E-MapReduce - 全托管 Spark 支持 Python UDF
全托管 Spark 支持在 SparkSQL 中注册和使用 Python UDF。
检索分析服务 Elasticsearch版 - OpenStore存储计算分离（高性能检索）引擎
OpenStore存储计算分离（高性能检索）解决了传统多副本架构存储成本高、因数据迁移导致节点扩缩容慢的问题。它在保证数据高可用的前提下，实现资源的快速弹性伸缩并降低存储成本，适用于通用或检索场景。
二、产品快讯
【EMNLP2025】阿里云人工智能平台PAI多篇论文入选EMNLP2025
阿里云 PAI 四篇论文入选 EMNLP 2025，聚焦知识蒸馏（EasyDistill）、小模型推理增强（CRV/CogPO）、DistilQwen 推理与奖励模型、RAG 自动化评测（AutoEvolve）。会议期间（11月5–9日）在苏州设展，揭秘Qwen3 训练加速3倍技术。
阿里云 PAI-ChunkFlow 获邀在 FAISys 2025 分享长序列训练优化创新
阿里云 PAI 团队将深度参与 FAISys 2025，PAI 团队的长序列训练优化 ChunkFlow 相关论文“Efficient Long Context Fine-tuning with Chunk Flow” 入选大会 Selective arXiv Talks 环节，受邀为参会者带来支撑着通义千问 Qwen 全系列模型的长序列续训练和微调任务的高效训练解决方案。
DataWorks Agent 正式发布！对话即开发，AI Agent 重新定义数据生产力
基于深度语义理解与自主规划能力，Agent 能自动拆解复杂需求、调用 DataWorks 工具链，实现“对话即开发”。内部实测显示，开发效率提升近 10 倍，80% 常规任务可全自动完成，让数据工程师聚焦高价值创新。现已开放公测，登录 DataWorks 控制台即可体验。
EMR StarRocks Stella内核正式发布，登顶TPC榜单全球第一
阿里云发布 EMR Serverless StarRocks 企业内核 Stella，TPC-H 性能全球第一（754万+ QphH），较前代提升120%；Lakehouse 场景下，StarRocks + Paimon 比 Trino 快12倍，DV 表提速300%；全文检索性能提升5倍、存储降本80%，全面强化实时数仓、湖仓分析与检索能力。
EMR AI助手开启公测：用AI重塑大数据运维，更简单、更智能
阿里云 EMR AI 助手正式公测，基于 AI Agent 技术，深度融合 EMR 控制台，通过自然语言实现“一句话运维”。面向数据平台工程师，覆盖智能咨询、异常诊断与高频操作三大场景，支持配置指导、故障根因分析及一键扩容等能力，显著降低运维门槛、提升效率。目前已在五大地域开放，助力企业迈向更简单、更智能的大数据运维新时代。
三、最佳实践
PAI Physical AI Notebook 详解 (1) ：基于 Isaac 仿真的操作动作数据扩增与模仿学习
通过 Isaac 仿真完成人工演示、Mimic 数据扩增、Cosmos 视频增强、BC-RNN 模仿学习及模型测评，构建端到端具身智能训练流程。结果表明，结合数据扩增与增强显著提升模型在复杂视觉环境下的泛化能力与任务成功率。
PAI Physical AI Notebook详解(2)：基于Cosmos世界模型的操作动作数据扩增与模仿学习
基于 Cosmos 视频演示微调模型，无需仿真或动作标注，结合拒绝采样与 IDM 逆解算生成训练数据，使 GR00T-N1 任务成功率提升至 43.2%（已知场景）和 28.5%（未知场景），全程仅用 AI 算力，为具身智能提供高效低成本数据生成新范式。
PAI Physical AI Notebook详解(3)：基于仿真的导航模型训练
通过 MobilityGen 在仿真仓库场景中生成人工演示轨迹，利用 Cosmos-Transfer1 对 RGB 图像进行视觉增强以提升真实感，基于增强后的数据对 X-Mobility 模型进行模仿学习，并通过 DLC 分布式训练加速。最终将模型转换为 TensorRT 格式，集成至 ROS2 与 Isaac Sim 实现软件在环闭环验证。该端到端方案显著提升了导航模型在复杂环境中的泛化能力，为 Sim2Real 迁移提供了高效、可复用的技术路径。
PAI Physical AI Notebook详解(4)：基于仿真的GR00T-N1.5模型微调
通过人工演示采集叠方块操作，利用 DLC 分布式扩增万级成功样本，经数据合并、视频重放与 Lerobot 格式转换后，在 DLC 上完成多卡模仿学习；最终通过两台 DSW 构建服务端-客户端架构，实现模型闭环验证。该方案展示了 PAI 平台在复杂具身智能任务中从数据生成到部署验证的端到端能力。
【跨国数仓迁移最佳实践11】基于 MaxCompute Resource & Quota策略优化实现资源管理性能与成本最优平衡
GoTerra 迁移至 MaxCompute 后，通过 Resource Advisor 智能推荐与 AutoScaleQuota 弹性配额，月成本降至 BigQuery 的 42%；结合 TopN Fair 调度策略，动态保障 ETL 与 BI 作业资源，作业平均运行数下降 31.3%，95 分位延迟降低 75.4%，实现性能、成本与稳定性的最优平衡。
【跨国数仓迁移最佳实践12】阿里云 MaxCompute 实现 BigQuery 10万条 SQL 智能转写迁移
阿里云助力东南亚头部科技集团 GoTerra 将 10 万条 BigQuery SQL 高效迁移至 MaxCompute。通过 Cloud Migration Hub（CMH）结合 AST 解析、规则引擎与 LLM 辅助，构建“工具主导+人工兜底”的智能转写方案，4 个月内完成迁移，自动化转换率从 5% 提升至 80%，人工成本降低 70% 以上，并沉淀上千条可复用规则，形成闭环迁移知识库，为跨云 SQL 迁移提供高效、可靠、可复用的工程范式。
Hologres 4.0 的整体架构围绕“多模态分析检索 all-in-one”设计，实现“一份数据、一份计算、多模分析”的一站式目标，一条 SQL 即可完成从数据接入、AI 加工到多模查询的全流程。
Hologres 4.0 发布全球性价比领先的向量数据库 HGraph，支持非结构化数据（如 PDF）的端到端 AI 处理：通过 Object Table 读取 OSS 文件，Dynamic Table 增量 Embed/Chunk，结合向量、全文及混合检索（RRF/AI 重排），并调用 Qwen 等大模型生成答案。全程使用标准 SQL，无需出库，安全高效，助力构建企业级多模态 AI 分析与检索系统。
让 ETL 更懂语义：DataWorks 支持数据集成 AI 辅助处理能力
阿里云 DataWorks 智能化升级，推出 AI 辅助 ETL 功能，支持在离线同步任务中通过自然语言提示一键完成情感分析、摘要生成、翻译、向量化等操作，无需编码或额外付费。已全面开放全球地域，助力电商、汽车、供应链、法律等场景高效处理非结构化数据，实现“让每条数据流都能思考”。
云栖实录 | 洋钱罐基于 EMR Serverless 产品构建全球一体化数字金融平台
洋钱罐基于阿里云 EMR Serverless 构建全球一体化数字金融平台，将自建 Hadoop 集群全面迁移至 EMR Serverless Spark 与 StarRocks 存算分离架构，实现成本降低25.4%、SQL 查询提速30%、运维效率提升40%。通过弹性资源、高性能 Shuffle 服务和统一湖仓分析能力，有效解决自建集群在稳定性、资源利用率和运维复杂度等方面的瓶颈，为全球化智能风控、精准营销等业务提供高可用、高敏捷的数据底座。
EMR Serverless Stella 1.0 技术分享：StarRocks企业级版本内核重大突破
EMR Serverless Stella 1.0 兼容开源 StarRocks，在存算分离、Paimon 湖表和全文检索三大场景性能大幅提升，深度集成 OpenLake 与 DLF，提供高性能、低成本、易运维的云原生 OLAP 引擎。
阿里云 Elasticsearch 的 AI 革新：高性能、低成本、智能化的搜索新纪元
阿里云 Elasticsearch 全面升级：性能更强、成本更低（存储降70%）、向量检索提速2–5倍，并深度融合 Qwen 与 Jina.ai 多模态 AI 能力，支持智能语义搜索与 RAG，打造高性能、低成本、智能化的 AI 原生搜索引擎。
阿里云 OpenSearch 通过 GPU 加速 NN-Descent 算法，将亿级向量索引构建速度提升 13 倍。相比传统 CPU 的 HNSW，GPU 并行计算大幅缩短建图时间，且几乎不占 CPU 资源。虽召回率略低，但调参后可达同等精度，显著提升效率与资源利用率。
朝阳永续基于阿里云 Milvus 构建金融智能投研产品“AI 小二”
朝阳永续基于阿里云 Milvus 构建金融智能投研产品“AI 小二”，实现对亿级公告、研报、财报等非结构化数据的高效语义检索。相比原开源 PostgreSQL 方案，查询响应从 600ms 降至 50ms，提速超 10 倍；运维工作量减少 80%；历经百余次交易高峰零故障，满足金融级高可用要求。该方案支撑 AI 小二提供可溯源、低延迟、高精度的智能问答与深度分析，显著提升投研效率与决策质量。
