基于文档智能&RAG搭建更懂业务的AI大模型

本文涉及的产品
资源编排,不限时长
简介: 本文介绍了一种结合文档智能和检索增强生成(RAG)技术,构建强大LLM知识库的方法。通过清洗文档内容、向量化处理和特定Prompt,提供足够的上下文信息,实现对企业级文档的智能问答。文档智能(Document Mind)能够高效解析多种文档格式,确保语义的连贯性和准确性。整个部署过程简单快捷,适合处理复杂的企业文档,提升信息提取和利用效率。

业务背景

本文主要是讲述基于文档智能和检索增强生成(RAG)结合起来构建强大的LLM知识库,包括清洗文档内容、文档内容向量化、问答内容召回后通过特定的Prompt,提供给LLM足够的上下文信息,以此来满足对于企业级文档类型知识库的问答处理。

简单的理解一句话就是让你的AI大模型更懂你的业务。下面我们在搭建操作之前先来了解当前方案的实践原理。

实践原理

整体来说就是当前方案结合文档智能(Document Mind)将文档解析为结构化数据,结合语义理解,提取出文档层级树、样式信息以及版面信息,下游将解析的结果数据处理成文档切片,生成切块(Chunk)数据,从而为RAG输入高精准度、高连贯语义的切块(Chunk),保障RAG的方案效果。那么为什么要选择文档智能,而不是其他的呢?比如文字识别OCR等。

是因为文档智能相比于传统文档解析,Document Mind提供含层级的段落信息、表格及表格单元信息、图片信息,并包含丰富的标题、段落、页码、注解等版面类型信息。并且文档智能基于最新自研的技术GeoLayoutLM 来研发层级树模型,可以面向各种长度和类型的文档,高效地提取其内部版面的层级关系,经过文档解析切分的文档内容保证了语义的不丢失,可直接输入至RAG的下游链路。整个方案的原理图如下

部署操作

下面再来讲一下整个基于基于文档智能&RAG搭建更懂业务的AI大模型的部署操作,我们直接来参考部署文档进行操作。整个部署方案操作大约需要30分钟,主要是通过文档智能解析(大模型版)将文件处理为包含多个版面块单元的Json对象,过滤非正文内容后切分成多个切块存入知识库中。当接收到提问时,服务将问题转换为内容向量,在知识库中召回相关信息,并结合问题和召回内容,通过语言模型进行智能问答,提供准确回答。点击【立即部署】进入部署方案操作页

image.png

在正式进行部署方案操作之前,文档先对方案进行了一个详细的介绍,包括方案会经过3个阶段,每个阶段有不同的作用,以及详细方案架构图,介绍说明文字配合架构图,可以让开发者可以快速理解方案,熟悉方案部署的各个阶段,为后续快速部署提供基础储备


了解完基础部署方案机构之后,可以直接进入一键部署部署操作,这里是基于阿里云资源编排服务ROS(Resource Orchestration Service)实现,ROS模板已定义好脚本,可自动化地完成云资源的创建和配置,提高资源的创建和部署效率。对于开发者来说基本不需要什么操作,只需要点击【一键部署】等待资源准备完成以及部署结束就可以完成部署操作,没有任何难度

image.png


部署完成之后在ROS控制台【输出】tab下点击访问域名,输入用户名密码后登录系统上传文档,创建知识库后就可以通过设置知识库并输入针对该知识库的提问,即可获得精准的回答



总的来说,通过该方案,企业用户可以高效地处理各类复杂文档,构建强大的知识库,并通过增强检索生成(RAG)技术实现智能问答服务,显著提升文档处理和信息获取的效率。对于企业存积文档有效信息的提取以及检索回答,都会有很大的帮助。

清理资源

测评建议

关于实践原理的理解

对于实践原理的理解,部署文档中详细介绍了文档智能结合RAG的优势,以及为什么会选择文档智能来保障RAG的方案效果,关于这一块的介绍和说明也比较详细,方便读者的理解。这里个人觉得如果可以加入选择其他文档识别方案结合RAG后的方案效果与当前方案效果对比后,对于实际操作者可能更容易理解为什么会选择文档智能。最好的情况就是可以加入一段效果视频,在视频中充分展示文档智能结合RAG搭建AI大模型的效果以及对比展示其他文档识别结合RAG的效果。

部署过程的文档引导

其实对于整个基于文档智能&RAG搭建更懂业务的AI大模型,部署文档以及部署引导和过去一样,都比较清晰,这次最大的特点就是在部署操作页面通过一键ROS资源配置,大大降低了开发者对于逐个创建资源的步骤耗时,从而降低了部署出错的可能性。文档步骤清晰,引导简单有效,希望后续关于部署操作的场景搭建都可以是尽可能的让开发者或者说让用户少操作,而要将大部分的操作都隐藏在已经创建好的模版或者资源文件中,从而提高开发者搭建资源的效率,降低出错的概率。

本方案的优势

本方案从上到下来说,最大的优势就是操作简单了,功能强大了。反向分析就更能理解当前方案的优势,从目的入手,如果想要搭建强大的LLM知识库,那么你就需要通过特定的Prompt,提供给LLM足够的上下文信息,而如何获取特定的Prompt,关键就是是如何清洗文档内容、文档内容向量化、问答内容等。而文档智能(Document Mind)可以精准识别并解析包括企业日常办公中常见的Office文档(Word/Excel/PPT )、PDF、Html、图片等在内的主流文件类型,返回文档的样式、版面信息和层级树结构,经过文档智能处理后的信息,可以为RAG输入高精准度、高连贯语义的切块(Chunk),保障了整个RAG方案的基础效果。这就是通过文档智能和检索增强生成结合起来构建的LLM知识库的优势。

本方案适用场景

对于企业在发展过程中,会遇到各种各样的文档格式内容,比如PDF格式下,多种合同、试卷、论文、财报、简历、报告场景等,而如何从这些文档内容中快速提炼出有效信息来为企业创造更多价值,那就需要对这种包括表格内容、公式文本、图片内容处理,无关内容的过滤,这就正好符合了本方案的适用场景。对于不同格式的文档输入,将文档智能和检索增强生成(RAG)结合起来构建强大的LLM知识库,通过特定的Prompt,提供给LLM足够的上下文信息,来满足对于企业级文档类型知识库的问答处理,从而提高企业级文档的利用率以及创造出更多价值。

相关实践学习
使用ROS创建VPC和VSwitch
本场景主要介绍如何利用阿里云资源编排服务,定义资源编排模板,实现自动化创建阿里云专有网络和交换机。
阿里云资源编排ROS使用教程
资源编排(Resource Orchestration)是一种简单易用的云计算资源管理和自动化运维服务。用户通过模板描述多个云计算资源的依赖关系、配置等,并自动完成所有资源的创建和配置,以达到自动化部署、运维等目的。编排模板同时也是一种标准化的资源和应用交付方式,并且可以随时编辑修改,使基础设施即代码(Infrastructure as Code)成为可能。 产品详情:https://www.aliyun.com/product/ros/
相关文章
|
15天前
|
机器学习/深度学习 人工智能 测试技术
PsycoLLM:开源的中文心理大模型,免费 AI 心理医生,支持心理健康评估与多轮对话
PsycoLLM 是合肥工业大学推出的中文心理大语言模型,基于高质量心理数据集训练,支持心理健康评估、多轮对话和情绪识别,为心理健康领域提供技术支持。
176 51
PsycoLLM:开源的中文心理大模型,免费 AI 心理医生,支持心理健康评估与多轮对话
|
12天前
|
存储 人工智能 自然语言处理
|
5天前
|
弹性计算 人工智能 自然语言处理
OS Copilot——面向未来的AI大模型
阿里云的智能助手`OS Copilot`是一款基于大模型构建的操作系统智能助手,支持自然语言问答、辅助命令执行、系统运维调优等功能。
33 8
OS Copilot——面向未来的AI大模型
|
6天前
|
数据采集 人工智能 安全
1000多个智能体组成,AI社会模拟器MATRIX-Gen助力大模型自我进化
在人工智能领域,大型语言模型(LLMs)的发展迅速,但如何提升其指令遵循能力仍是一大挑战。论文提出MATRIX-Gen,一个基于多智能体模拟的AI社会模拟器。MATRIX-Gen通过模拟智能体交互生成多样化的现实场景,不依赖预定义模板,从而合成高质量指令数据。它包括MATRIX模拟器和MATRIX-Gen指令生成器,能生成监督微调、偏好微调及特定领域的数据集。实验表明,使用MATRIX-Gen合成的数据集微调后的模型在多个基准测试中表现出色,显著优于现有方法。然而,该方法也面临智能体和场景规模对数据质量的影响等挑战。
53 33
|
9天前
|
人工智能 自然语言处理 API
用AI Agent做一个法律咨询助手,罗老看了都直呼内行 feat.通义千问大模型&阿里云百炼平台
本视频介绍如何使用通义千问大模型和阿里云百炼平台创建一个法律咨询助手AI Agent。通过简单配置,无需编写代码或训练模型,即可快速实现智能问答功能。演示包括创建应用、配置知识库、上传民法典文档、构建知识索引等步骤。最终,用户可以通过API调用集成此AI Agent到现有系统中,提供专业的法律咨询服务。整个过程简便高效,适合快速搭建专业领域的小助手。
112 21
|
6天前
|
机器学习/深度学习 存储 人工智能
淘天算法工程师玩转《黑神话》,多模态大模型如何成为天命AI
淘天集团未来生活实验室的算法工程师们以ARPG游戏《黑神话:悟空》为平台,探索多模态大模型(VLM)在仅需纯视觉输入和复杂动作输出场景中的能力边界。他们提出了一种名为VARP的新框架,该框架由动作规划系统和人类引导的轨迹系统组成,成功在90%的简单和中等难度战斗场景中取得胜利。研究展示了VLMs在传统上由强化学习主导的任务中的潜力,并提供了宝贵的人类操作数据集,为未来研究奠定了基础。
|
7天前
|
人工智能 弹性计算 JSON
AI大模型复习“搭子”—部署流程演示
本文主要介绍文档智能,介绍利用大模型构建知识库和AI学习助手的部署流程,主要包括以下几方面的内容: 1.什么是文档智能 2.文档智能 & RAG 3.基于文档智能和百炼平台的RAG应用案例
|
6天前
|
人工智能 缓存 安全
每一个大模型应用都需要一个 AI 网关|场景和能力
本次分享的主题是每一个大模型应用都需要一个 AI 网关|场景和能力。由 API 网关产品经理张裕(子丑)进行分享。主要分为三个部分: 1. 企业应用 AI 场景面临的挑战 2. AI 网关的产品方案 3. AI 网关的场景演示
|
15天前
|
人工智能 前端开发 算法
科技云报到:从大模型到云端,“AI+云计算”还能讲出什么新故事
科技云报到:从大模型到云端,“AI+云计算”还能讲出什么新故事
|
1天前
|
存储 人工智能 自然语言处理
AI 工程学习 - 三张图说明白什么是 RAG
RAG(检索增强生成)是一种结合信息检索和生成模型的自然语言处理框架,通过引入外部知识库(如文档库、数据库等),增强生成模型的回答准确性与相关性。其核心在于避免模型仅依赖训练数据产生不准确或“幻觉”内容,而是通过实时检索外部资料,确保回答更精准、丰富且上下文相关。RAG的实现包括建立索引(清洗、分割、嵌入存储)和检索生成(计算相似度、选择最优片段、整合提示词模板提交给大模型)。
18 0

热门文章

最新文章