ChatGPT时代的开源解法,「白泽」一作亲自解读

简介: hatGPT时代的开源解法,「白泽」一作亲自解读



ChatGPT 等聊天模型已显示出令人印象深刻的功能,并已在众多领域被迅速采用。然而,这些模型只能通过受限的 API 访问,这为该领域的进一步研究和进步设下了重重障碍。此外,由于缺乏多轮对话的高质量聊天语料,更是加剧了这个问题,进而限制了改进和评估这些模型的可能性。

不久之前,Meta「开源」了一个新的大模型系列 ——LLaMA(Large Language Model Meta AI),参数量从 70 亿到 650 亿不等。130 亿参数的 LLaMA 模型「在大多数基准上」可以胜过参数量达 1750 亿的 GPT-3。然而从 ChatGPT 和 GPT-4 的发展中我们可以看到,高质量的标注数据仍然至关重要,OpenAI 对数据和标注工作下了很大力气。

对于学界来说,很难在短期做同样的事。我们不禁会问有没有更好的方法呢?此前,机器之心报道的一篇文章中,来自加州大学圣迭戈分校、中山大学和微软亚研的研究者提出了「白泽」。具体来说,他们提出了一个自动收集 ChatGPT 对话的流水线,通过从特定数据集中采样「种子」的方式,让 ChatGPT 自我对话,批量生成高质量多轮对话数据集。其中如果使用领域特定数据集,比如医学问答数据集,就可以生成高质量垂直领域语料。

白泽目前包括四种英语模型:白泽 -7B、13B 和 30B(通用对话模型),以及一个垂直领域的白泽 - 医疗模型,供研究 / 非商业用途使用,并计划在未来发布中文的白泽模型。白泽的数据处理、训练模型、Demo 等全部代码已经开源。

为了更好的帮助大家了解这项研究,机器之心最新一期线上分享(即本周二晚上 8-9 点)邀请到了论文一作许灿文,为大家解读他们近期的工作 「白泽」。


分享主题:Baize 白泽 ——ChatGPT 时代的开源解法

嘉宾简介:许灿文,加州大学圣迭戈分校博士候选人,曾于 Hugging Face 任研究员,并在 Google Research、微软研究院等实习。屡次担任 ACL、EMNLP、NAACL、NeurIPS、ICML、ICLR、WWW 等顶会审稿人。

分享摘要:本次主要分享开源聊天模型 Baize 白泽提出的「自聊天」数据收集管线以及训练细节,详细分析与其他开源聊天模型的异同。此外,作者还将分享通过训练 Baize 模型,获得的对于聊天模型的新理解、新发现,对于如何防止模型被滥用、如何减少有害输出方面的心得和思考。

相关链接 论文链接:https://arxiv.org/abs/2304.01196Github 链接:https://github.com/project-baize/baize-chatbot

相关文章
|
机器学习/深度学习 人工智能 算法
【极客技术】ColossalChat用完整RLHF技术克隆ChatGPT的开源解决方案
【极客技术】ColossalChat用完整RLHF技术克隆ChatGPT的开源解决方案
374 0
【ChatGLM】本地版ChatGPT ?6G显存即可轻松使用 !ChatGLM-6B 清华开源模型本地部署教程
【ChatGLM】本地版ChatGPT ?6G显存即可轻松使用 !ChatGLM-6B 清华开源模型本地部署教程
1005 0
|
10月前
|
人工智能 Linux API
Omnitool:开发者桌面革命!开源神器一键整合ChatGPT+Stable Diffusion等主流AI平台,本地运行不联网
Omnitool 是一款开源的 AI 桌面环境,支持本地运行,提供统一交互界面,快速接入 OpenAI、Stable Diffusion、Hugging Face 等主流 AI 平台,具备高度扩展性。
1094 94
Omnitool:开发者桌面革命!开源神器一键整合ChatGPT+Stable Diffusion等主流AI平台,本地运行不联网
|
10月前
|
存储 人工智能 关系型数据库
HiveChat:告别模型选择困难!开源ChatGPT聚合神器上线:一键切换10+模型,权限管控全免费
HiveChat 是一款专为中小团队设计的开源 AI 聊天应用,支持多种主流 AI 模型,提供高效的团队沟通和智能辅助功能。
407 9
HiveChat:告别模型选择困难!开源ChatGPT聚合神器上线:一键切换10+模型,权限管控全免费
|
人工智能 自然语言处理 搜索推荐
微软开源基于ChatGPT的,超级文本代码智能体
【7月更文挑战第17天】微软的TaskWeaver是开源的LLM框架,聚焦领域特定数据分析与个性化需求。它以代码优先,将用户请求转为可执行代码,增强处理复杂任务的效率和准确性。通过用户定义插件实现定制,适应多种场景。然而,转化请求可能引入复杂性和错误,非技术用户使用插件有难度,且开源带来的安全与隐私问题需关注。[论文链接](https://arxiv.org/abs/2311.17541)**
261 4
|
10月前
|
存储 人工智能 API
ChatGPT-on-WeChat:Star32.4k, DeepSeek加持!这款开源神器秒变AI助手,聊天体验直接起飞!
嗨,大家好,我是小华同学。今天为大家介绍一款结合DeepSeek引擎的开源项目——ChatGPT-on-WeChat,由开发者zhayujie打造。它将微信变成智能AI助手,支持文本、图片、语音对话,具备定时提醒、天气查询等扩展功能,完全开源且易于定制。项目地址:https://github.com/zhayujie/chatgpt-on-wechat。关注我们,获取更多优质开源项目和高效学习方法。
1115 11
|
人工智能 测试技术 开发者
马斯克将在本周,开源类ChatGPT产品Grok
【2月更文挑战第21天】马斯克将在本周,开源类ChatGPT产品Grok
214 1
马斯克将在本周,开源类ChatGPT产品Grok
|
人工智能 前端开发 API
借助chat-web前端开源项目搭建属于自己的ChatGPT镜像站
借助chat-web前端开源项目搭建属于自己的ChatGPT镜像站
1627 0
|
机器学习/深度学习 人工智能 前端开发
优雅码住!ChatGPT的五大开源替代方案
优雅码住!ChatGPT的五大开源替代方案
666 0
|
机器人
第一个超越ChatGPT的开源模型来了?网友并不买账
第一个超越ChatGPT的开源模型来了?网友并不买账
413 1

热门文章

最新文章