大数据& AI 产品月刊【2024年12月】-阿里云开发者社区

Elasticsearch Serverless 服务是基于云原生 Serverless 技术架构构建的 Elasticsearch 服务化产品，完美兼容 Elasticsearch 原生 API 及其生态系统。为用户提供简单易用、灵活弹性的 Elasticsearch 体验，无需管理集群资源和配置，便可实现负载与资源的动态匹配。现Elasticsearch推出最小配额 2CU 特惠活动和提供灵活的按需付费模式，显著提升用户的性价比，为企业在竞争激烈的市场中提供强劲支持。

三、产品快讯

【NeurIPS'24】阿里云 PAI 团队论文被收录为 Spotlight，并完成主题演讲分享

12月10日，人工智能领域全球顶级学术会议 NeurIPS 正式召开。阿里云 PAI 团队的论文《PertEval: Unveiling Real Knowledge Capacity of LLMs with Knowledge-Invariant Perturbations》被 NeurIPS 2024 收录，并入选 Spotlight。论文通过对大语言模型真实知识能力的评估，揭示现有静态评测集指标的可信性问题以及大语言模型知识掌握中的各种弱点，并指导改进的发展。

加速 AI 应用落地！DataWorks 数据治理中心全新升级为数据资产治理

DataWorks 全新升级为数据资产治理平台，强调从业务视角进行数据资产管理，引入标签体系组织数据资产，简化数据管理与分析。新增 Data+AI 全链路数据血缘追踪功能，覆盖数据从采集到 AI 模型训练全过程，促进跨部门协作。首次购买或升级可享受企业版数据资产治理功能免费体验1个月，新购或低版本即将到期升级至企业版首月299元优惠。

Fluss：面向实时分析设计的下一代流存储

Fluss 项目是由阿里云智能 Flink 团队研发的一款面向流分析的下一代流存储，旨在解决现有流存储（如 Kafka）在实时分析场景中的不足。Fluss 提供了更高效的实时数据分析能力，通过实时读写、列式裁剪、流式更新、CDC订阅、实时点查、湖流一体等特性，帮助用户构建高吞吐量、低延迟、低成本的流式数仓，并与 Flink 紧密结合，优化了双流 Join 等关键功能。

基于 EMR StarRocks 实现游戏玩家画像和行为分析

阿里云 EMR-StarRocks 联合镜舟科技，基于 EMR-StarRocks 实现游戏实时湖仓分析，免费试用物化视图、Paimon 写入查询等新能力，用户可赢取 StarRocks 定制 T 恤等活动礼品。

公开课 | 基于阿里云 Elasticsearch 构建 AI 搜索和可观测 Chatbot

12月27日由 Elastic 和阿里云搜索技术专家将深入解读阿里云 Elasticsearch Enterprise 版的 AI 功能及其在实际应用。通过公开课可以了解构建 AI 搜索和 AI Assistant 的技术原理，并轻松掌握从0到1搭建企业级 RAG 应用，和基于大模型搭建可观测 Chatbot，获取运维洞察。

OpenSearch 推出向量检索 GPU 图算法方案并支持 GPU 规格售卖

阿里云 OpenSearch 向量检索版推出 GPU 图算法方案（CAGRA算法），支持 GPU 加速，并支持直接购买 GPU 规格节点。作为国内云上首家支持 GPU 规格的向量检索产品，OpenSearch 提供了近10倍的向量搜索性能提升，适合高 QPS 业务场景。

四、最佳实践

EasyAnimateV5 视频生成大模型原理详解与模型使用

EasyAnimate 是阿里云推出的一款基于 DiT 的视频生成框架，能够生成高质量的长视频。它具备视频数据预处理、VAE 训练、DiT 训练、Lora训练、模型推理和模型评估等功能。此外，EasyAnimate 在预训练模型的基础上，通过少量图片进行 LoRA 微调，可实现视频风格的转变，大大增强了系统的扩展性和完整性，使其在众多方案中更具竞争优势。EasyAnimate 在人工智能平台 PAI 上进行集成，供用户一键训练和部署。

面向金融场景的大模型 RAG 检索增强解决方案

检索增强生成模型结合了信息检索与生成式人工智能的优点，从而在特定场景下提供更为精准和相关的答案。以人工智能平台 PAI 为例，介绍在云上构建面向金融场景的大模型 RAG 检索增强解决方案。

面向医疗场景的大模型 RAG 检索增强解决方案

检索增强生成模型结合了信息检索与生成式人工智能的优点，从而在特定场景下提供更为精准和相关的答案。以人工智能平台 PAI 为例，介绍在云上构建面向医疗场景的大模型 RAG 检索增强解决方案。

OpenSearch & AI 开放平台，实现0代码图片搜索！

介绍如何使用阿里云 OpenSearch 向量检索版结合 AI 搜索开放平台的模型能力，帮助客户自动完成图片的识别与向量化处理，一站式搭建图片搜索服务。本方案适用于客户在没有向量数据、仅有原始图片数据的情况下，快速搭建以图搜图、以文搜图服务。

通过阿里云 Milvus 和 LangChain 快速构建 LLM 问答系统

本文将介绍如何通过整合阿里云向量检索服务 Milvus 版、阿里云百炼 DashScope Embedding 模型以及阿里云 PAI（EAS）模型服务，构建一个基于大型语言模型（LLM）的问题解答应用，并详细演示如何搭建基于这些技术的 RAG 对话系统。

（Elasticsearch）使用阿里云 infererence API 及 semantic text 进行向量搜索

本文介绍了如何使用 Elasticsearch 的推理 API 与阿里云 AI 搜索服务结合，通过具体的命令和示例，详细说明了如何进行高效的向量搜索，实现稀疏向量、密集向量、completion、rerank 等功能。

MaxCompute Bloomfilter index 在蚂蚁安全溯源场景大规模点查询的最佳实践

蚂蚁安全溯源的大规模点查场景，基于传统聚簇方式与二级索引方式，均无法很好的解决业务查询效率与成本问题，通过 MaxCompute 全新引入的轻量级 Bloomfilter index 能力，提供了更高的空间效率和查询效率，不仅降低了业务的查询耗时，也避免了构建二级索引带来的大量存储消耗，为业务限制降低了成本。

数据分析经典案例重现：使用 DataWorks Notebook 实现 Kaggle 竞赛之房价预测

Kaggle 作为一个全球知名的数据科学竞赛平台，其举办的房价预测竞赛更是成为了数据分析领域的经典案例之一。DataWorks 作为一站式智能数据开发与治理平台，基于 DataWorks Notebook 可完成完成数据加载、数据探索、数据可视化、数据清洗、特征分析、特征处理、机器学习、回归预测等步骤，实现 Kaggle 竞赛中的房价预测。

通过阿里云 Milvus 与 PAI 搭建高效的检索增强对话系统

阿里云 Milvus 提供了一个云上全托管服务，与开源 Milvus 完全兼容，支持大规模 AI 向量数据的相似性检索。通过与 PAI 平台集成，用户可以快速搭建 RAG 对话系统，实现高性能的多模态搜索、检索增强生成等功能。文章详细描述了从创建 Milvus 实例、配置 PAI 服务到使用 RAG WebUI 上传知识库和进行对话测试的操作流程，以及如何使用 Attu 工具查看向量数据库中的知识库切块。

大数据& AI 产品月刊【2024年12月】

一、产品功能发布

二、最新活动

三、产品快讯

四、最佳实践

大数据与机器学习

热门文章

最新文章

相关课程

相关电子书

相关实验场景