原理介绍
大语言模型常因知识局限而产生“幻觉”。检索增强生成(RAG)技术通过连接外部知识库,有效解决了这一痛点。要实现高效的RAG,一个强大的向量数据库至关重要。本文将聚焦于阿里云 Milvus,并借助低代码AI平台Dify,向您展示如何将二者无缝结合,快速搭建一个企业级的RAG应用,直观感受向量数据库在解决AI“最后一公里”问题上的核心价值。
阿里云 Milvus 基本介绍
阿里云向量检索服务 Milvus 版是一款全托管向量检索引擎,并确保与开源Milvus的完全兼容性,支持无缝迁移。它在开源版本的基础上增强了可扩展性,能提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控告警,Milvus云服务成为多样化AI应用场景的理想选择,包括多模态搜索、检索增强生成(RAG)、搜索推荐、内容风险识别等。您还可以利用开源的Attu工具进行可视化操作,进一步促进应用的快速开发和部署。
Dify 平台基本介绍
Dify 是开源人工智能应用开发平台,具有低代码的工作流和友好的用户界面的特点,其核心使命是通过将“后端即服务”(Backend-as-a-Service)与“大语言模型运维”(LLMOps)的理念深度融合,来彻底简化和加速AI应用的构建全过程。
作为一个全栈式的解决方案,Dify 在后端层面,提供了稳定可靠的API服务、数据管理等基础设施,让开发者无需从零搭建;在 LLM 运维层面,提供了一个直观的可视化提示词编排界面,让复杂的提示工程变得简单高效。其内置的高质量检索增强生成(RAG)引擎,能够轻松连接企业文档、数据库等私有知识库,让大模型基于特定领域的知识进行回答,有效减少了信息幻觉,并确保答案的准确性和可追溯性。
操作步骤
前提条件
- 已创建阿里云 Milvus 实例。具体操作,请参见快速创建Milvus实例。
- 已开通百炼服务并获得 API-KEY。具体操作,请参见开通DashScope并创建API-KEY。
安装与配置Dify
安装 Dify
在开始之前,请确保本地Git、Docker、Docker-Compose 安装完毕。具体操作,请参见 Docker&Docker Compose安装(离线+在线) 和 安装Git。
- 将dify项目通过git命令clone到本地
git clone https://github.com/langgenius/dify.git
- 进入目录备份.env配置文件
cd dify cd docker cp .env.example .env
- 修改配置文件.env
VECTOR_STORE=milvus MILVUS_URI=http://YOUR_ALIYUN_MILVUS_ENDPOINT:19530 MILVUS_USER=YOUR_ALIYUN_MILVUS_USER MILVUS_PASSWORD=YOUR_ALIYUN_MILVUS_PASSWORD
注意
用 Aliyun Milvus 的公网地址替换YOUR_ALIYUN_MILVUS_ENDPOINT 。
用 Aliyun Milvus 的用户名替换YOUR_ALIYUN_MILVUS_USER 。
用 Aliyun Milvus 的密码替换YOUR_ALIYUN_MILVUS_PASSWORD 。
- 通过docker compose命令启动
docker compose up -d
安装成功验证
- 启动后访问http://127.0.0.1/ 进入dify的登陆页面,设置管理员账号密码,并登陆进管控台。
设置默认模型
- 在设置--模型提供商处安装模型供应商,在这里我们选用了通义千问的模型,可以将在百炼平台获取API-KEY 输入,验证绿灯即可。
- 系统模型设置:将通义千问对应的模型设置到每种模型处。
准备数据集创建知识库
接下来准备测试数据来创建知识库。
- 在选择数据源处选择“导入已有文本”,可使用milvus官网的中文README作为测试数据源文件
https://github.com/milvus-io/milvus/blob/master/README_CN.md
- 参考如下配置进行数据源的处理与保存,创建知识库
- 可以看到数据库已经成功创建,并且索引创建完毕
验证向量检索是否成功
- 通过docker logs 查看,可以看到dify日志里显示上传成功
- 访问集群Attu Manager控制台,可以看到对应的collection 数据已导入
验证RAG效果
- 在应用模板中创建一个knowledge retreival + chatbot作为基础模板
- 修改knowledge retreival节点,设置前步骤的知识库
- 修改chatbot节点,设置语言大模型,这里使用qwen-max大模型
- 设置好后点击发布,然后点运行进入测试界面
- 这里输入一个与知识库中内容相关的问题,可以得到答案
立即体验
如果您想体验阿里云Milvus的相关能力,欢迎在阿里云官网搜索向量检索服务Milvus版进行体验。
产品新用户也可免费领取1个月试用资格。
此外,阿里云为了回馈新老用户,推出了重大优惠:
阿里云向量检索服务 Milvus 版 限时年付5折!购买地址