AIGC-知识库-LLM：在云上从0开始搭建智能问答机器人Streamlit网页版

2023-10-11 1536

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 本文描述在阿里云上从0开始构建个人/企业专属，具备私域知识库+LLM智能问答能力的网页版聊天机器人。网页采用streamlit实现，知识库技术方案使用了Lindorm AI数据服务平台知识库能力，LLM使用了开源ChatGLM2-6B。 Streamlit使用起来非常简便，可以让开发者快速（短则几十分钟即可）搭建一个具备公网访问能力的网页。尤其在人工智能开发上，可使用Streamlit快速搭建应用环境，让开发人员将更多精力集中在人工智能本身，本文从0开始详细讲解整个应用的构建过程，代码实现了一个简洁的具备公网访问能力的网页版聊天机器人。

一、开通和配置ECS

1、创建ECS实例（以Ubuntu系统为例），作为登录数据库的客户端。设置ECS用户名及登录密码（使用ecs-user登录，如果使用root安装，后续部分安装包会提示有权限风险）。

2、设置安全组配置，配置出方向端口22，并在源IP中加入本机IP。

3、本机ssh到云ECS。

二、构建自己的知识库+LLM

1、根据产品指导书，开通Lindorm知识库+LLM实例，并根据指导书导入或SQL方式写入自己的知识文档，完成知识库的构建。该方案安装部署LLM非常简便，仅需一条简单的SQL命令即可完成安装。使用也非常简便，也是几条简洁的SQL即可（详见）。

2、将ECS客户端IP加入到Lindorm数据库白名单，确保ECS可以正常访问Lindorm数据库。可以在ECS上安装Lindorm CLI客户端进行测试。

3、在ECS上安装phoenixdb（用于连接数据库）：pip install phoenixdb==1.2.0

注意：有些系统版本在安装时，可能会报错“subprocess.CalledProcessError: Command 'krb5-config --libs gssapi' returned non-zero exit status 127”，原因是缺乏安装依赖，需执行如下命令后再安装：sudo apt-get -y install gcc libkrb5-dev

三、编写Streamlit网页程序

说明：该程序运行在ECS上，用于对外提供网页版问答机器人服务界面。

1、在ECS上安装Streamlit需要的模块：pip install streamlit pip install streamlit-chat

2、编写Streamlit网页程序（Python脚本）。

#!/bin/python3# -*- coding: utf-8 -*-importstreamlitasstimportphoenixdbfromconfigs.lindorm_config_chatbotimport*# global env：如下配置正式使用时请放在单独的配置文件中，如：lindorm_config_chatbot# 这里的链接地址与lindorm-cli的链接地址比，需要去掉http之前的字符串# LINDORM_URL = "http://ld-XXXX-proxy-lindorm-pub.lindorm.rds.aliyuncs.com:30060"# LINDORM_USER_NAME = 'XXXX'# LINDORM_USER_PW = 'XXXX'# 连接到lindorm数据库defconnect(kw_args):
try:
returnphoenixdb.connect(LINDORM_URL, autocommit=True, **kw_args)
exceptAttributeError:
print("Failed to connect")
# 连接Lindorm数据库，调用AI数据服务平台SQL查询接口，获取Lindorm知识库问答结果# 用户名通过lindorm_user字段传递，密码使用lindorm_password字段设置，database字段设置连接初始化默认数据库。connect_kw_args= {'lindorm_user': LINDORM_USER_NAME, 'lindorm_password': LINDORM_USER_PW, 'database': 'default'}
connection=connect(connect_kw_args)
st.set_page_config(
page_title="LLM智能问答",
page_icon=":robot:",
layout='wide')
st.title("LLM智能问答-小智")
# 如果存在多个智能问答模型，可以做成复选框方式LLM_MODEL=st.sidebar.selectbox(
'请选择模型',
('ChatGLM2-6B', 'Lindorm-QA')
)
if"history"notinst.session_state:
st.session_state.history= []
# 历史对话信息展示for (query, response) inst.session_state.history:
withst.chat_message(name="user", avatar="user"):
st.markdown(query)
withst.chat_message(name="assistant", avatar="assistant"):
st.markdown(response)
# 尝试使用text_area来接收用户的问题输入，发现对话界面很混乱。历史记录在界面上方，输入框在中间，最新的问答在下方。所以放弃了该方式，代码如下面3行#prompt = st.text_area(label="用户问题输入", height=100, placeholder="请在这儿输入您的问题")#button = st.button("发送", key="aigc")#if button:# 用户输入问题ifprompt :=st.chat_input("请在这儿输入您的问题"):
# 在界面上展示用户输入的问题st.chat_message("user").markdown(prompt)
response=""withconnection.cursor() asstatement:
# 查询Lindorm AI实例，返回知识库+LLM答案sql_select="select ai_infer('%s', '%s')"% (LLM_MODEL, prompt)
statement.execute(sql_select)
sql_response=statement.fetchall()
response=sql_response[0][0]  # 查询返回是list格式，需要取list[0][0],转换为str格式# 在界面上展示LLM给出的答案st.chat_message("assistant").markdown(response)
# 将本轮问答信息追加记录到history中，用于实现多轮对话展示st.session_state.history.append((prompt, response))
# print("session_state.history:", st.session_state.history)connection.close()