本地化搭建媲美ChatGPT的中国对话模型ChatGLM2-6B

简介: 本地化搭建媲美ChatGPT的中国对话模型ChatGLM2-6B

ChatGLM2-6B发布了详情查看:
https://github.com/THUDM/ChatGLM2-6B
一个在各个方面和chatGPT4媲美的中国语言对话模型,主要是可以本地化部署,对于配置要求不是太高,不需要GPU的情况下速度还行,可以在各个平台上运行,本文是在centos7上安装运行,支持网页Demo、命令行Demo、API部署。image.png
1.安装环境并下载模型

注意:python版本需要3.7以上
git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B
mkdir THUDM
yum install git-lfs
cd THUDM
git clone https://huggingface.co/THUDM/chatglm2-6b
python3 -m pip install gradio==3.28.3
cd ../
python3 -m pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

2.修改web_demo.py文件,设置cpu模式和网络。

#修改为下面内容
model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).float()
demo.queue().launch(share=True, inbrowser=True,server_name='0.0.0.0',server_port=7800)

配置cpu模式
image.png

配置网络

image.png

3.运行web_demo.py

python web_demo.py

4.访问即可,远程访问查看自己的ip是多少,ip:端口即可,然后就可以得到一个无限制的对话AI

image.png

相关文章
|
存储 人工智能 关系型数据库
HiveChat:告别模型选择困难!开源ChatGPT聚合神器上线:一键切换10+模型,权限管控全免费
HiveChat 是一款专为中小团队设计的开源 AI 聊天应用,支持多种主流 AI 模型,提供高效的团队沟通和智能辅助功能。
610 9
HiveChat:告别模型选择困难!开源ChatGPT聚合神器上线:一键切换10+模型,权限管控全免费
|
人工智能 自动驾驶 数据可视化
D1net阅闻 | ChatGPT支持所有用户使用搜索功能之时,谷歌也开放了最强模型
D1net阅闻 | ChatGPT支持所有用户使用搜索功能之时,谷歌也开放了最强模型
|
人工智能 自然语言处理 机器人
OpenAI推出具有图像上传和分析功能的完整o1模型,并首次推出ChatGPT Pro
OpenAI推出具有图像上传和分析功能的完整o1模型,并首次推出ChatGPT Pro
|
人工智能 搜索推荐 机器人
OpenAI 将向企业开放 GPT-4o 模型定制版,国内怎么使用ChatGPT?
OpenAI新推功能让企业客户能定制GPT-4o模型,通过微调技术满足特定需求和业务场景,以前所未有的方式优化AI投资回报。企业上传自有数据后,可在一到两小时内完成模型定制,如滑板公司打造专业客服聊天机器人解答详细问题,大幅提升服务针对性与客户体验。目前定制限于文本数据,但仍显著增强了企业应用AI的灵活性与效率。
464 2
OpenAI 将向企业开放 GPT-4o 模型定制版,国内怎么使用ChatGPT?
|
人工智能 开发者 芯片
【51单片机】单片机开发者的福音: 让AI看电路图帮你编写程序(使用ChatGPT 中训练好的单片机工程师模型)
使用AI大语言模型编写 单片机程序. 使用的是 OpenAI公司发布的 ChatGPT .在ChatGPT上有别人训练好的 单片机工程师 with Keil uVision 5 - C Code Explainer模型, 可以上传电路图改模型可以通过这个用户所给的电路图进行编程.
4716 0
【51单片机】单片机开发者的福音: 让AI看电路图帮你编写程序(使用ChatGPT 中训练好的单片机工程师模型)
|
存储 Linux API
物理地址模型 【ChatGPT】
物理地址模型 【ChatGPT】
|
Linux 程序员 编译器
将驱动程序移植到新的驱动模型 【ChatGPT】
将驱动程序移植到新的驱动模型 【ChatGPT】
|
机器学习/深度学习 缓存 自然语言处理
采用ChatGPT大模型高效精准文档翻译
这款文档翻译工具支持PDF、Word、PPT、Excel和TXT等多种格式,利用ChatGPT大模型进行高效精准的翻译,覆盖30多种语言。它通过文档解析、预处理、翻译和结果合成步骤工作,并采用缓存、并行处理和负载均衡技术优化性能。该工具满足全球化背景下企业和个人的多语言需求,助力信息交流。
1101 1
采用ChatGPT大模型高效精准文档翻译
|
机器学习/深度学习 人工智能 自然语言处理
【AI大模型】ChatGPT模型原理介绍(下)
【AI大模型】ChatGPT模型原理介绍(下)
|
机器学习/深度学习 人工智能 自然语言处理
【AI大模型】ChatGPT模型原理介绍(上)
【AI大模型】ChatGPT模型原理介绍(上)