AnalyticDB向量检索助力钉钉AI助理

本文涉及的产品
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
简介: 2024年1月9日钉钉发布人人可用的AI助理产品,用户点击钉钉首屏右上角的魔法棒,即可唤起AI助理进行对话式数据AI、信息摘要、写工作总结、写文档等工作。AnalyticDB for PostgreSQL (下文简称ADB-PG) 向量检索引擎提供了核心实体的向量召回,帮助AI助理在智能问数等场景中大幅提升模型输出准确性。

1、钉钉AI助理发布

2024年1月9日,在钉钉7.5产品发布会上正式发布了基于70万家企业需求共创的AI助理产品,推动AI的使用门槛进一步降低,让人人都能创造AI助理。钉钉总裁叶军在发布会现场演示了智能问答、智能问数等AI助理的典型能力。


智能问数在连接业务数据后,能跨应用查询与分析销售、差旅、人事等多个场景的经营数据。用户可以基于自己在钉钉沉淀的数据进行自由提问,官方预置的指令中心帮助用户低门槛快速上手正确的提问方式。通过对话式数据AI,结合知识图谱、自然语言理解等,为企业用户提供智能问答、智能推荐、预警归因等功能;帮助用户方便快捷的查找数据、简单直观的解读数据、智能深入的挖掘数据,实现人人都有自己的专属数据分析师,提高数据查询及分析的效率。



(AI助理智能问数场景)

2、ADB-PG 智能问数场景应用

2.1 向量召回提升模型输出准确率

在智能问数场景中,如何在问答过程中准确定位实体(如分公司名称、部门名称、专有名称等)是一个难点问题。比如,管理者通过自然语言输入“帮我查看华东区域xx产品第三季度业绩”,华东区域到底包含哪些分公司呢?又比如“查看产品部Q1绩效”,产品部在该企业内部全称是产品设计及管理部。又比如产品SKU在企业内部有特殊代号,大模型无法识别这些特殊的代号。总体而言,结合企业专属数据提供贴近企业需求的AI服务难度是非常大的。


因此,通过 AnayticDB for PostgreSQL 向量检索引擎对10亿+核心企业实体(企业名称、部门名称、员工名称、专有名词等)实现向量化,针对企业用户随意输入的问题通过向量检索召回最准确的企业实体,然后再结合大模型提供智能问答、智能问数等服务,大大提升了AI助理对实体的识别和大模型准确率。

2.2 构建企业专属实体知识库

大模型虽然能解答普适性的问题,但在一些垂直领域上无法覆盖企业专属知识以及无法保障数据更新时效性,导致大模型应用在企业中落地困难。企业可采用 AnayticDB for PostgreSQL 向量检索引擎构建企业专属知识库,对结构化、半结构化和非结构化数据通过 Embedding 向量化后存储到 AnayticDB for PostgreSQL 中。结合大模型推理服务,将企业私有数据融入到智能问答、智能问数、智能创造等大模型应用中。构建企业专属大模型知识库的步骤大致如下:

1)数据预处理:在向量化之前需要对非结构化的文档、图片进行预处理,包括文档/图片解析、切块;预处理会质量会对问答召回和准确率有非常大的影响

2)Embedding: 通过大模型的Embedding算法对预处理后的数据块进行向量化,存储到向量数据库中

3)向量检索: 大模型将用户的问题进行向量化后在向量数据库中进行向量检索和近似度计算,同时结合结构化的条件过滤进行权限和范围的限定

4)查询召回:大模型对向量检索的结果进行推理求解最终返回最接近问题的答案,因为语义检索的覆盖面可能不全,因此可以结合全文检索对答案进行补充。

(构建企业专属知识库)

3、ADB-PG 私域数据保护

企业可以在公共云上开启 AnayticDB for PostgreSQL 专属实例存储企业专属数据,同时也支持线下混合云输出,满足不同企业对数据安全的要求。结合 AnayticDB for PostgreSQL 行/列级权限控制、动态数据脱敏、数据加密、SQL审计等手段最大化保障企业数据安全。让企业在使用大模型应用服务带来的便捷性同时又无需担心私域数据安全性问题。

4、ADB-PG 优势特点

优势1 一站式融合分析

用户只需要通过一条SQL即可实现结构化数据分析、向量分析和全文检索三者融合,实现多路召回。

优势2 社区合作紧密

AnalyticDB for PostgreSQL 是国内云厂商中唯一被OpenAI和Langchain两个主流社区集成的向量数据库引擎;支持对接通义千问、ChatGpt、ChatGLM等国内外主流大模型。

优势3 功能完善,性能极致

1)支持向量数据流式导入,索引压缩,事务,和各类相似度算法。

2)较比同类产品有更高的写入吞吐和查询性能。

优势4 解决方案丰富

1)提供从文档解析、CHUNK、Embedding、向量近似度计算、检索全套OpenAPI服务,让用户快速落地。

2)提供计算巢一键部署方式,在30分钟内一键构建企业专属大模型和向量数据库,快速搭建企业级ChatBot。

3)支持构建图搜图、文搜图等产品化解决方案。

优势5 仓内智能

可在数据仓库中即可实现对大模型finetune,以及调用内置或外部模型实现AI增强分析。


AnalyticDB PostgreSQL 版向量能力介绍

向量能力介绍: https://help.aliyun.com/zh/analyticdb-for-postgresql/user-guide/vector-analysis/

RAG 一站式服务: https://help.aliyun.com/zh/analyticdb-for-postgresql/user-guide/rag-service/

钉钉群

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
29天前
|
人工智能 机器人 API
一键打造你的专属钉钉AI助手
【8月更文挑战第7天】一键打造你的专属钉钉AI助手
101 14
一键打造你的专属钉钉AI助手
|
10天前
|
算法 NoSQL 数据挖掘
表格存储低成本向量检索服务助力 AI 检索
本文阐述了阿里云表格存储(Tablestore)如何通过其向量检索服务应对大规模数据检索的需求,尤其是在成本、规模和召回率这三个关键挑战方面。
|
1月前
|
人工智能 数据库
【科研技巧】如何判断某个期刊是什么类别及影响因子?是否是顶会?如何期刊内检索?AI写综述?AI做PPT?
本文提供了关于如何判断期刊类别、影响因子,识别顶级会议,以及在期刊内部进行检索的科研技巧,并探讨了AI技术在撰写综述和制作PPT方面的应用。
137 6
【科研技巧】如何判断某个期刊是什么类别及影响因子?是否是顶会?如何期刊内检索?AI写综述?AI做PPT?
|
1月前
|
存储 人工智能 编解码
大模型检索X一键成片,巴黎奥运的AI新演绎
巴黎奥运会,AI上演媒体新科技。
98 10
大模型检索X一键成片,巴黎奥运的AI新演绎
|
1月前
|
存储 人工智能 机器人
通义大模型百炼融合AnalyticDB, 10分钟打造企业微信AI助手
通义大模型百炼融合AnalyticDB, 10分钟打造企业微信AI助手。只需简单几步,即可在企业微信集成AI助手,提升客户服务体验。参与“10分钟打造企业微信AI助手”活动,完成指定任务即可赢取定制礼品,数量有限,先到先得。
|
1月前
|
存储 人工智能 数据管理
"AI大改造,让NAS焕发新生!智能分类、秒速检索、隐私守护、故障先知……你的数据存储神器全面升级,告别传统,拥抱未来智能NAS新纪元!"
【8月更文挑战第14天】大数据时代催生了对高效数据管理的需求,传统NAS面临挑战。AI技术的应用为NAS带来智能数据分类、内容分析检索、安全防护及预测性维护等功能。通过示例代码展示了AI如何简化数据管理、提升用户体验、保障数据安全及提高系统稳定性。集成AI的NAS正引领数据存储新时代。
47 3
|
16天前
|
人工智能 开发者
AI 助理能为我做什么?
阿里云AI助理融合了大模型能力,聚焦于开发者在阿里云平台上的关键需求,提供包括云产品咨询、权益活动推荐、下单购买引导、云资源查询与诊断等服务,助力开发者快速解决问题,提高业务效率,让云上开发之旅更加顺畅。
|
1月前
|
存储 SQL 人工智能
AnalyticDB for MySQL:AI时代实时数据分析的最佳选择
阿里云云原生数据仓库AnalyticDB MySQL(ADB-M)与被OpenAI收购的实时分析数据库Rockset对比,两者在架构设计上有诸多相似点,例如存算分离、实时写入等,但ADB-M在多个方面展现出了更为成熟和先进的特性。ADB-M支持更丰富的弹性能力、强一致实时数据读写、全面的索引类型、高吞吐写入、完备的DML和Online DDL操作、智能的数据生命周期管理。在向量检索与分析上,ADB-M提供更高检索精度。ADB-M设计原理包括分布式表、基于Raft协议的同步层、支持DML和DDL的引擎层、高性能低成本的持久化层,这些共同确保了ADB-M在AI时代作为实时数据仓库的高性能与高性价比
|
1月前
|
人工智能 数据可视化 数据挖掘
我的私人AI助理 | 办公小浣熊
【8月更文挑战第1天】如何利用AI智能化办公工具来快速实现表格数据分析,数据趋势预测,帮助管理者做出重大决策等内容
|
2月前
|
Cloud Native 关系型数据库 新能源