社区供稿 | YuanChat全面升级:知识库、网络检索、适配CPU,手把手个人主机部署使用教程

简介: 在当下大语言模型飞速发展的背景下,以大模型为核心的AI助手成为了广大企业和个人用户最急切需求的AI产品。然而在复杂的现实办公场景下,简单的对话功能并不能满足用户的全部办公需求,为此我们发布了最新版的YuanChat应用

背景介绍

在当下大语言模型飞速发展的背景下,以大模型为核心的AI助手成为了广大企业和个人用户最急切需求的AI产品。然而在复杂的现实办公场景下,简单的对话功能并不能满足用户的全部办公需求,为此我们发布了最新版的YuanChat应用,该版本YuanChat的主要更新内容主要有:

  • 知识库能力增强:YuanChat 现在支持对 docx、pdf、txt 格式文件的深入理解和检索,结合多种先进的检索算法,确保用户能够快速且精准地获取所需信息。
  • 网络检索功能:新增的网络检索能力使 YuanChat 能够访问并分析互联网上的数据,从而为用户提供更为广泛和时效的信息。
  • 多模型适配:为了满足不同用户的需求,YuanChat 现在支持多种模型的适配,增强了其灵活性和适用范围。
  • 用户界面优化:我们对软件界面进行了全面的重新设计,新的布局更为合理,确保用户操作更加直观和便捷。

对于构建大模型服务的研究者和开发者,模型选型是一个至关重要的阶段。一般来说,这个过程涉及从不同的源下载多个模型,手动部署每个模型服务,然后逐一进行测试,这不仅耗时而且容易出错。然而,我们最新版的YuanChat提供了一种更为高效的解决方案。YuanChat现在支持从Huggingface、Modelscope等平台下载推荐的主流模型,用户可以直接在YuanChat的界面中选择和测试这些模型,而无需进行繁琐的手动部署。开发者可以在YuanChat的模型选择下拉菜单中浏览所有备选模型,一键切换以测试各个模型的效果。这种无缝的模型测试流程,不仅节省了大量时间,也减少了因手动操作引入的错误。

集成Serper API的网络检索功能加入,也使得哪些需要对较新话题和概念进行分析的用户能够即时访问互联网上的最新数据,保持信息的时效性,从而避免当下ChatGPT等工具因数据固定而导致的分析失效。

此外,在企业办公中,许多用户也会面临海量的各式文档过于繁杂,难以处理的问题。最新版本的YuanChat通过结合多种检索算法,使得知识库的创建、修改和删除操作也变得更加简单,有助于企业更好地构建和维护知识资产,提升全员的学习和工作效率。

YuanChat的这些更新,为用户提供了一种更为高效、直接的交互方式。无论是在信息检索、模型适配,还是在网络数据获取方面,YuanChat都致力于让复杂的任务变得简单,让智能交互体验更加贴近用户的实际需求。

本次更新为YuanChat CPU通用版本,对于支持XPU的yuanchat版本,详见 YuanChat全面升级XPU版本(https://github.com/IEIT-Yuan/YuanChat/blob/main/docs/YuanChat%E5%85%A8%E9%9D%A2%E5%8D%87%E7%BA%A7XPU%E7%89%88%E6%9C%AC.md


部署教程

本节将逐步讲述最新版YuanChat的部署和使用过程,首先是YuanChat安装的一些基本注意事项如下所示:

配置要求

  • 可使用内存:4GB 以上
  • 系统: windows10/11 64位

软件下载

安装和运行

  • YuanChat.exe占用本地的5050端口,如果系统中有其他应用占用了此端口会导致YuanChat.exe启动失败,请使用前确认系统环境。

安装

通过此链接下载YuanChat的安装包,根据提示进行安装部署

安装1


安装2


安装3


安装4


安装完成后运行YuanChat

初次运行YuanChat,需要配置存储路径,此路径用于保存下载模型和知识库文件

配置存储路径



下载模型

初次使用YuanChat需要下载模型,通过左侧模型管理页面进行下载

下载完成后,按钮变为【下载完成】,且置为灰色,不可点击。


加载模型

此时,回到会话页面,可以在模型选择处,进行模型的加载。


加载过程视模型大小和个人电脑性能而不同。

加载完成后,右侧【设置】栏将显示该模型的一些基本使用参数,如下图所示


到这一步,就可以尽情使用对话了。

您可以直接跟模型进行对话


也可以上传文档,然后让模型根据文档内容进行总结或回答问题


特色功能

会话管理

针对会话功能,我们可以新建会话开启一个新的会话,可以对会话名称进行修改,也可以将某个会话进行删除。同时还可以建立目录来分类不同对话,当我们在企业工作中有较多对话时,该功能能够起到有效归纳整理对话,提高工作效率的作用。

知识库使用

使用大模型来构建知识库是当前企业和个人办公智能化转型的主要趋势,大模型能够自动识别和解析文档中的文本内容,包括Word、TXT、PDF等格式,无需用户手动输入或格式化。文档内容被自动解析并存入向量数据库,便于后续的检索和分析,免去了用户自己构建检索系统(如RAG)时的数据处理、数据库构建等复杂工作。


1、知识库创建、修改、删除


2、使用知识库进行对话


3、使用单文件进行对话 如果您需要阅读理解的文件较少,且不想使用知识库,您可以只使用单个文件进行对话,具体步骤如下:

同使用知识库相比,单个文件进行对话的响应速度会更快,但对于文件内的内容缺少更为深层次的理解。


使用网络检索增强

同之前支持网络搜素增强介绍的功能,当前版本支持使用网络检索增强,网络搜索使用的是搜索引擎服务Serper,因此首先需要准备搜索引擎服务Serper的API Key,通过 https://serpapi.com/ 注册获取。我们进入该网站页面,从右上角处进入注册,


完成注册后,我们登录进入个人页面,在个人页面左侧我们点击进入API Key的获取页面,在获取页面内我们可以查看并复制自己的API Key


在使用时,我们需要先在YuanChat页面内开启网络检索的开关,


打开后需要配置基本信息,在Serper API Key一栏填入前面注册得到的API key,在嵌入式模型本地路径一栏填入之前下载好的模型在本地的目录路径。


完成上述配置后,即可使用网络搜索增强的对话功能了。


总结

在这篇技术文章中,我们详细介绍了YuanChat的最新升级版本,它带来了一系列令人兴奋的新功能和改进,旨在为用户提供更加智能化和个性化的交互体验。文章提供了详细的部署教程,从配置要求到安装运行,再到会话管理和知识库、网络检索功能的使用,确保用户能够轻松上手。 展望未来,我们将持续优化YuanChat的功能,包括但不限于:提高YuanChat在本地运行的处理速度和准确性、引入更多先进的语言模型、改进用户界面和操作流程。

对于使用过程中遇到的任何问题,我们鼓励用户在项目的issue中进行提问,我们将积极回应并提供帮助,构建一个活跃的社区环境。 我们相信,通过不断的技术创新和产品完善,YuanChat将能够更好地服务于广大企业和个人用户,成为您日常工作和生活中的得力助手。敬请期待我们的下一次升级,它将带来更多令人期待的新特性和改进。

更多信息,请访问以下页面

YuanChat Github 项目主页:

https://github.com/IEIT-Yuan/YuanChat/


Yuan 2.0 Github 项目主页:

https://github.com/IEIT-Yuan/Yuan-2.0


Yuan 2.0 系列模型Modelscope 主页:https://modelscope.cn/profile/YuanLLM


Yuan 2.0 系列模型Hugging Face 主页:

https://huggingface.co/IEITYuan


点击链接👇直达原文

https://modelscope.cn/profile/YuanLLM

相关文章
|
22天前
|
Java
【思维导图】JAVA网络编程思维升级:URL与URLConnection的逻辑梳理,助你一臂之力!
【思维导图】JAVA网络编程思维升级:URL与URLConnection的逻辑梳理,助你一臂之力!
33 1
|
30天前
|
网络协议 C++ 网络架构
【革命性升级】OSPFv3 vs OSPFv2:揭秘IPv6时代下的网络协议革新之旅!
【8月更文挑战第22天】OSPFv2与OSPFv3分别是用于IPv4和IPv6网络的路由协议。OSPFv2绑定于32位IPv4地址,而OSPFv3支持128位IPv6地址并具备地址独立性,LSA不再包含具体IPv6地址。OSPFv3引入多实例能力,可在同一接口上运行多个实例,支持多种IPv6地址族。邻居发现机制方面,OSPFv3使用NDP而非ARP。此外,OSPFv3支持更细粒度的路由聚合。这些改进使OSPFv3更适应当今网络需求。
49 1
|
2月前
|
SQL 安全 算法
爆赞!终于有大佬把网络安全零基础入门教程给讲明白了!
网络安全的一个通用定义指网络信息系统的硬件、软件及其系统中的数据受到保护,不因偶然的或者恶意的破坏、更改、泄露,系统能连续、可靠、正常地运行,服务不中断。网络安全简单的说是在网络环境下能够识别和消除不安全因素的能力。 网络安全在不同环境和应用中有不同的解释,例如系统运行的安全、系统信息内容的安全、信息通信与传播的安全等。 网络安全的主体是保护网络上的数据和通信的安全,数据安全性是指软硬件保护措施,用来阻止对数据进行非授权的泄漏、转移、修改和破坏等,通信安全性是通信保护措施,要求在通信中采用保密安全性、传输安全性、辐射安全性等措施。
|
2月前
|
存储 缓存 网络协议
网络编程初学者必备:从零开始的详细教程与资源汇总
网络编程初学者必备:从零开始的详细教程与资源汇总
|
23天前
|
安全 网络安全 网络虚拟化
优化大型企业网络架构:从核心到边缘的全面升级
大型企业在业务运作中涉及多种数据传输,涵盖办公应用、CRM/ERP系统、数据中心、云环境、物联网及安全合规等多个方面。其复杂的业务生态和全球布局要求网络架构具备高效、安全和可靠的特性。网络设计需全面考虑核心层、汇聚层和接入层的功能与冗余,同时实现内外部的有效连接,包括广域网连接、远程访问策略、云计算集成及多层次安全防护,以构建高效且可扩展的网络生态系统。
优化大型企业网络架构:从核心到边缘的全面升级
|
1月前
|
API
|
25天前
|
存储 人工智能 自然语言处理
知识库优化增强,支持多种数据类型、多种检索策略、召回测试 | Botnow上新
Botnow近期对其知识库功能进行了全面升级,显著提升了数据处理能力、检索效率及准确性。新版本支持多样化的数据格式,包括PDF、Word、TXT、Excel和CSV等文件,无需额外转换即可直接导入,极大地丰富了知识来源。此外,还新增了细致的文本分片管理和编辑功能,以及表格数据的结构化处理,使知识管理更为精细化。 同时,平台提供了多种检索策略,包括混合检索、语义检索和全文检索等,可根据具体需求灵活选择,有效解决了大模型幻觉问题,增强了专业领域的知识覆盖,从而显著提高了回复的准确性。这些改进广泛适用于客服咨询、知识问答等多种应用场景,极大提升了用户体验和交互质量。
44 4
|
1月前
|
敏捷开发 网络协议 测试技术
阿里云云效产品使用合集之在vpc网络里,如何升级agent
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
1月前
|
SQL 运维 安全
GitHub爆赞的Web安全防护指南,网络安全零基础入门必备教程!
web安全现在占据了企业信息安全的很大一部分比重,每个企业都有对外发布的很多业务系统,如何保障web业务安全也是一项信息安全的重要内容。 然而Web 安全是一个实践性很强的领域,需要通过大量的练习来建立对漏洞的直观认识,并积累解决问题的经验。 Web安全与防护技术是当前安全界关注的热点,今天给小伙伴们分享的这份手册尝试针对各类漏洞的攻防技术进行体系化整理,从漏洞的原理到整体攻防技术演进过程进行详细讲解,从而形成对漏洞和web安全的体系化的认识。
|
1月前
|
机器学习/深度学习 数据可视化 数据挖掘
【Macos系统】安装VOSviewer及使用VOSviewer教程!!以ESN网络的研究进行案例分析
本文介绍了如何在MacOS系统上安装VOSviewer软件,并以ESN(Echo State Network)网络的研究为例,通过VOSviewer对相关科学文献进行可视化分析,以深入了解ESN在学术研究中的应用和发展情况。
80 0
【Macos系统】安装VOSviewer及使用VOSviewer教程!!以ESN网络的研究进行案例分析