WAIC 2023 | 新加坡国立大学尤洋教授 :AI大模型的挑战与系统优化(2)

简介: WAIC 2023 | 新加坡国立大学尤洋教授 :AI大模型的挑战与系统优化

我们通过 Colossal-AI 做了 ColossalChat,是世界上首个开源的最接近 ChatGPT 原始技术方案,具备完整 RLHF 流程的低成本 ChatGPT 复现方案。只有 70 亿或 100 亿的参数模型可以达到更好效果。


这是原理图。


相对于业界标准,Colossal-AI 可以将推理上获得 30-50% 的提速,在训练上获得大概 7 倍加速。


包括可以把 ChatGPT 训练成本从 300 万美金降低到 140 万美金左右。


接下来是一些 demo 展示和与斯坦福羊驼的对比,以及一些更进一步分布式 PPO 和 evaluation 的工作。







当然,由于我们做的是计算优化,因此不会限制于某个特定行业或者模型,具备良好的通用性。例如对于生物医药行业的蛋白质预测模型 AlphaFold2,我们也可以优化提升约 10 倍的训练推理速度。



如果感兴趣可以看一下 Colossal-AI 官网,加我们的微信群,也非常欢迎大家在 GitHub 提 issue,或者提交 PR 共同建设 Colossal-AI 项目。我的介绍就到这里,谢谢。

相关文章
|
6月前
|
云安全 人工智能 自然语言处理
阿里云x硅基流动:AI安全护栏助力构建可信模型生态
阿里云AI安全护栏:大模型的“智能过滤系统”。
2346 120
|
6月前
|
机器学习/深度学习 人工智能 人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
529 121
|
6月前
|
人工智能 人机交互 知识图谱
当AI学会“融会贯通”:多模态大模型如何重塑未来
当AI学会“融会贯通”:多模态大模型如何重塑未来
407 114
|
6月前
|
人工智能 搜索推荐 程序员
当AI学会“跨界思考”:多模态模型如何重塑人工智能
当AI学会“跨界思考”:多模态模型如何重塑人工智能
775 120
|
6月前
|
人工智能 安全 搜索推荐
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
550 117
|
6月前
|
人工智能 机器人 人机交互
当AI学会“看、听、懂”:多模态技术的现在与未来
当AI学会“看、听、懂”:多模态技术的现在与未来
424 117
|
6月前
|
人工智能 API 开发工具
构建AI智能体:一、初识AI大模型与API调用
本文介绍大模型基础知识及API调用方法,涵盖阿里云百炼平台密钥申请、DashScope SDK使用、Python调用示例(如文本情感分析、图像文字识别),助力开发者快速上手大模型应用开发。
2288 17
构建AI智能体:一、初识AI大模型与API调用
|
6月前
|
人工智能 算法 数据安全/隐私保护
拔俗AI多模态心理风险预警系统:用科技守护心理健康的第一道防线
AI多模态心理风险预警系统通过语音、文本、表情与行为数据,智能识别抑郁、焦虑等心理风险,实现早期干预。融合多源信息,提升准确率,广泛应用于校园、企业,助力心理健康服务从“被动响应”转向“主动预防”,为心灵筑起智能防线。(238字)
749 0