解读阿里云搜索开发工作台如何快速搭建AI语义搜索及RAG链路

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
推荐全链路深度定制开发平台,高级版 1个月
OpenSearch LLM智能问答版免费试用套餐,存储1GB首月+计算资源100CU
简介: 本文介绍阿里云搜索开发工作台如何通过内置数据处理、查询分析、排序、效果测评、大模型等服务,结合阿里云搜索引擎及开源引擎,灵活打造AI语义搜索及RAG链路。

阿里云搜索开发工作台面向企业及开发者提供先进的AI搜索开发平台,内置实践打磨的多模态数据解析、文档切分、文本向量、查询分析、大模型文本生成、效果测评等丰富的组件化服务以及开发模版,同时,可选多种引擎能力,用户可灵活调用,实现智能搜索、检索增强生成(RAG)、多模态搜索等搜索相关场景的搭建。


首次免费开通搜索开发工作台,每个账号可获赠100次服务免费调用额度 >>


产品简介

随着AIGC技术的快速发展,用户获取信息的方式也随之改变,AI+搜索的融合也为企业带来更多的机遇。阿里云搜索开发工作台围绕智能搜索及RAG领域,为企业及开发者提供优质的组件化模型及搜索服务,可灵活搭建AI搜索业务。

阿里云搜索开发工作台内置数据处理、查询分析、排序、效果测评、大模型等服务,结合阿里云搜索引擎及开源引擎,可灵活打造AI语义搜索及RAG链路。

image.png

产品优势

  • 丰富的AI搜索能力:依托领先的模型底座训练AI搜索专属模型,内置搜索及RAG场景全链路组件化服务。
  • 灵活的调用方式:通过API、SDK调用服务,方便开发者、企业客户及ISV技术人员将部分或全链路AI搜索服务集成到自身业务链路中。
  • 开箱即用:开通后即可灵活调用全量服务。
  • 最佳实践:基于OpenSearch多年在智能搜索、RAG领域的沉淀,内置多种AI搜索最佳实践,可快速搭建更加适配业务需求的搜索链路。

产品能力

阿里云搜索开发工作台通过提供离线数据处理模型,以及在线查询理解、重排、大模型等服务,帮助搜索业务提升场景化效果。

1. 文档图片解析服务

面对纷杂的文档数据,如何准确解析不同格式的文档,是搜索业务的前提,也是影响搜索效果的核心因素。

image.png

阿里云搜索开发工作台提供文档解析服务,支持分钟级解析,同时能够区分多种版式,可从非结构化文档中提取出标题、分段等逻辑层级结构,以及文本、表格、图片、代码等信息,去除页眉、页脚、识别上标、下标等信息,并以结构化的格式输出。

针对架构图、分析图表等图片数据,提供图片内容理解服务,可基于多模态大模型对图片内容进行解析理解以及文字识别,也可基于OCR能力对图片文字进行识别,将文字信息提取出来,用于图片检索及问答等场景。

2. 文档切片服务

构建AI语义搜索及RAG链路时,需要依赖于LLM大语言模型或向量表示等模型,目前模型对于数据的处理均有一定的长度要求,如何在有限长度内保障文档的质量也是重要的课题。

image.png

阿里云搜索开发工作台提供文档切片服务,可基于文档的结构构建宏观粒度的语义切片树,切分时,会确保切片内容的语义完整性。在此基础上,还可以进一步使用单句进行更细粒度的切分。切片内容可用于retrieval阶段,召回切片后,还可使用切片树的信息进行上下文补全,在RAG链路中实现更高的回答准确率。

将两种切片策略组合起来进行检索,可进一步提升后续的效果,在典型场景下结果准确率可提升5%,搜索召回率提升7%。

3. 多语言向量模型服务

完成文档解析及切分后,可使用向量模型得到向量表示进行后续的检索,使用向量检索时向量化模型流量会远高于其他模型服务,如何在参数量更少的模型基础上,达到参数量更高一级模型的效果,实现性价比更高的向量模型服务同样重要。

image.png

阿里云搜索开发工作台提供多语言文本向量模型以及文本稀疏向量模型,可将文本数据转化为稠密向量形式表达,以及可表示关键词和词频信息的稀疏向量形式表达,用于信息检索、文本分类、相似性比较等场景。

4. 查询分析服务

当用户进行搜索查询时,能否理解用户查询意图,检索到更相关的内容是在线查询阶段的关键。

image.png

阿里云搜索开发工作台提供查询分析服务,可基于模型对用户输入的Query进行意图理解,若用户问题为短文本,理解用户意图就会比较困难。此时,可以对短文本进行语义扩充,做指代消解、省略补全等。

5. 召回排序服务

理解用户查询内容后,将进行精准的检索,如何提升检索效果,将直接影响搜索业务整体的效果。经实践研究发现,混合检索的方式可以进一步提升搜索效果,使用稠密向量(Dense Vector)来解决模糊语义匹配的问题,使用稀疏向量来解决精准关键词匹配的问题。

image.png

使用稠密向量+稀疏向量进行混合检索,将召回的内容使用搜索开发工作台提供的排序服务进行重排,增加rerank模型后,在典型场景下,召回率提升20%,回答准确率提升12.5%。

6. 大模型服务

使用检索增强后的信息组成Prompt并调用大模型,可有效提升大模型生成的效果。

image.png

阿里云搜索开发工作台提供通义千问系列大模型,以及微调后的RAG大模型,在通义千问13B模型上,用典型场景的数据测试,能做到10%以下的幻觉率。

同时,系统内置的模型均对接绿网,针对输入端及输出端敏感信息进行过滤,保障隐私及安全性。

场景实践效果

基于搜索开发平台的组件化服务,可快速搭建语义搜索及RAG链路。

以客户知识库问答RAG场景实践为例,客户全链路效果随着使用能力的增加而快速提升,最终问题解决率可达到87%。

image.png

产品使用

  • 开通阿里云搜索开发工作台服务,详情请参开通服务
  • 通过API/SDK调用服务时,需要获取API鉴权密钥信息,详情请参见管理API-KEY
  • 调用API/SDK服务体验,详情请参见服务详情,如需使用OpenAI SDK调用,可参见兼容OpenAI SDK服务


更多产品详情,请参考阿里云搜索开发工作台产品页 https://www.aliyun.com/activity/bigdata/opensearch/platform

相关文章
|
17天前
|
人工智能 开发框架 自然语言处理
Eko:一句话就能快速构建复杂工作流的 AI 代理开发框架!快速实现自动操作电脑和浏览器完成任务
Eko 是 Fellou AI 推出的开源 AI 代理开发框架,支持自然语言驱动,帮助开发者快速构建从简单指令到复杂工作流的智能代理。
204 12
Eko:一句话就能快速构建复杂工作流的 AI 代理开发框架!快速实现自动操作电脑和浏览器完成任务
|
21天前
|
存储 人工智能 自然语言处理
|
7天前
|
人工智能 自然语言处理 JavaScript
微软开源课程!21节课程教你开发生成式 AI 应用所需了解的一切
微软推出的生成式 AI 入门课程,涵盖 21 节课程,帮助开发者快速掌握生成式 AI 应用开发,支持 Python 和 TypeScript 代码示例。
132 14
|
6天前
|
机器学习/深度学习 人工智能 弹性计算
阿里云AI服务器价格表_GPU服务器租赁费用_AI人工智能高性能计算推理
阿里云AI服务器提供多种配置,包括CPU+GPU、FPGA等,适用于人工智能、机器学习和深度学习等计算密集型任务。本文整理了阿里云GPU服务器的优惠价格,涵盖NVIDIA A10、V100、T4等型号,提供1个月、1年和1小时的收费明细。具体规格如A10卡GN7i、V100-16G卡GN6v等,适用于不同业务场景,详情见官方页面。
50 11
|
14天前
|
人工智能 自然语言处理 测试技术
阿里云通义实验室自然语言处理方向负责人黄非:通义灵码2.0,迈入 Agentic AI
在通义灵码 2.0 发布会上,阿里云通义实验室自然语言处理方向负责人黄非分享了代码大模型的演进。过去一年来,随着大模型技术的发展,特别是智能体技术的深入应用,通义灵码也在智能体的基础上研发了针对于整个软件研发流程的不同任务的智能体,这里既包括单智能体,也包括多智能体合并框架,在这样的基础上我们研发了通义灵码2.0。
104 21
|
7天前
|
SQL 人工智能 关系型数据库
【PG锦囊】阿里云 RDS PostgreSQL 版插件—AI 插件(rds_ai)
本文介绍了AI 插件(rds_ai)的核心优势、适用场景等,帮助您更好地了解 rds_ai 插件。想了解更多 RDS 插件信息和讨论交流,欢迎加入 RDS PG 插件用户专项服务群(103525002795)
|
15天前
|
人工智能 供应链 安全
阿里云 Confidential AI 最佳实践
本次分享的主题是阿里云 Confidential AI 最佳实践,由阿里云飞天实验室操作系统安全团队工程师张佳分享。主要分为三个部分: 1. Confidential AI 技术背景与挑战 2. Confidential AI 技术架构与应用场景 3. Confidential AI 技术实践与未来展望
|
17天前
|
人工智能 自然语言处理 搜索推荐
云端问道12期实操教学-构建基于Elasticsearch的企业级AI搜索应用
本文介绍了构建基于Elasticsearch的企业级AI搜索应用,涵盖了从传统关键词匹配到对话式问答的搜索形态演变。阿里云的AI搜索产品依托自研和开源(如Elasticsearch)引擎,提供高性能检索服务,支持千亿级数据毫秒响应。文章重点描述了AI搜索的三个核心关键点:精准结果、语义理解、高性能引擎,并展示了架构升级和典型应用场景,包括智能问答、电商导购、多模态图书及商品搜索等。通过实验部分,详细演示了如何使用阿里云ES搭建AI语义搜索Demo,涵盖模型创建、Pipeline配置、数据写入与检索测试等步骤,同时介绍了相关的计费模式。
|
15天前
|
人工智能 Java API
阿里云工程师跟通义灵码结伴编程, 用Spring AI Alibaba来开发 AI 答疑助手
本次分享的主题是阿里云工程师跟通义灵码结伴编程, 用Spring AI Alibaba来开发 AI 答疑助手,由阿里云两位工程师分享。
阿里云工程师跟通义灵码结伴编程, 用Spring AI Alibaba来开发 AI 答疑助手
|
17天前
|
人工智能 算法 API
构建基于 Elasticsearch 的企业级 AI 搜索应用
本文介绍了基于Elasticsearch构建企业级AI搜索应用的方案,重点讲解了RAG(检索增强生成)架构的实现。通过阿里云上的Elasticsearch AI搜索平台,简化了知识库文档抽取、文本切片等复杂流程,并结合稠密和稀疏向量的混合搜索技术,提升了召回和排序的准确性。此外,还探讨了Elastic的向量数据库优化措施及推理API的应用,展示了如何在云端高效实现精准的搜索与推理服务。未来将拓展至多模态数据和知识图谱,进一步提升RAG效果。