大模型的「狂飙时代」,以开源之力推动「新Linux底层操作系统」

简介: 大模型的「狂飙时代」,以开源之力推动「新Linux底层操作系统」


相比于造一个 ChatGPT,这个开源平台更想成为「大模型时代的 Linux」。


2022 年末,ChatGPT 横空出世,成为人工智能领域的又一里程碑事件。业内人士曾预言,这可能是 AI 大模型的「iPhone 诞生时刻」。


作为前沿 AI 技术的集大成者,ChatGPT 引得海内外众多科技公司跟进。但是做出对标 ChatGPT 的产品谈何容易,无论算力、数据、人才还是研发投入,并不是每家企业都具备充分的实力。特别是对于一部分中小企业来说,自身虽然拥有丰富的行业知识和数据,但缺少大模型相关的技术沉淀,以至于有人指出「AI 大模型只是大公司的游戏」。


国产 AI 大模型攻关之路,最难的点在哪里?中小企业和开发者们想要入局 AI 大模型,到底需要哪些能力?有无通关捷径?


智源研究院院长黄铁军指出,大模型时代需要的是「真正」的开源。这种开源不是受到企业影响较大的开源(譬如 Android),而是像 Linux、RISC-V 和 2022 年完全转入开源社区的 PyTorch 那样,完全发展于开源社区的「大家」的开源。


当下的中国 AI 大模型生态建设,正在呼唤一个全面的、开源的技术体系。


智源研究院与多家企业、高校和科研机构共同开发出了 FlagOpen(飞智)大模型技术开源体系,旨在打造全面支撑大模型技术发展的开源算法体系和一站式基础软件平台,支持协同创新和开放竞争,共建共享大模型时代的「新 Linux」开源开放生态。


算法、模型、数据、工具、评测

一站式开源大模型技术体系


FlagOpen(飞智)是一站式、高质量的大模型开源开放软件体系,包括大模型算法、模型、数据、工具、评测等重要组成部分。



FlagOpen 开源平台入口:https://flagopen.baai.ac.cn


FlagOpen 的核心部分是 FlagAI,这个开源项目涵盖了大模型算法、模型及各种优化工具。



项目地址:https://github.com/FlagAI-Open/FlagAI


FlagAI 不仅集成了全球各种主流大模型算法技术,还包括多种大模型并行处理和训练加速技术,支持高效训练和微调。项目涵盖了多个领域明星模型,如语言大模型 OPT、T5,视觉大模型 ViT、Swin Transformer,多模态大模型 CLIP 等。


作为 FlagOpen 的牵头发起者,智源研究院也持续将「悟道」大模型项目成果开源至 FlagAI,包括「悟道 2.0」通用语言大模型 GLM,「悟道 3.0」视觉预训练大模型 EVA,视觉通用多任务模型 Painter,文生图大模型 AltDiffusion(多语言),文图表征预训练大模型(多语言)、EVA-CLIP(英文),阿拉伯语大模型 ALM,百亿语言基础模型 CPM3 等。


目前,FlagAI 已经加入 Linux 基金会,希望吸引全球科研力量对大模型技术共同创新、共同贡献。


与主攻算法开源的其他技术社区不同,FlagOpen 平台还围绕大模型创新的各个方面,提供了 AI 异构芯片基准测试、模型评测、数据处理等配套开源工具,包括:


  • FlagPerf:面向多种 AI 硬件的一体化评测引擎。探索开源、开放、灵活、公正、客观的 AI 硬件评测体系,建立支持多种深度学习框架、最新主流模型评测需求、易于 AI 芯片厂商插入底层支撑工具的 AI 系统评测生态。不以排名为核心目标,以提供行业价值、促进 AI 产业生态发展为愿景;


  • FlagEval:多领域、多维度的基础大模型评测开源项目。探索大模型自动评测技术,推动大模型技术创新和产业应用。首先开放了近期备受关注的多模态领域 - CLIP 系列模型评测工具,支持多语言多任务、开箱即用。更多领域、更多维度的评测工具将陆续发布;


  • FlagData:开箱即用、易于扩展的数据工具开源项目。包含清洗、标注、压缩、统计分析等功能在内的多个数据处理工具与算法,为自然语言处理、计算机视觉等领域的模型训练与部署提供了数据层面的有力支撑;


  • FlagStudio:智源研究院应用文生图、文生音乐等人工智能模型支持艺术创作相关的开源项目集合。利用图文、声文等多模态模型,依托研究院在 NLP 和 CV 领域大模型的研究基础,为艺术创作提供更加符合中文场景的人工智能开源算法和模型,使创作效率更加高效,创作空间更加开阔,创作成果更加细腻;
  • FlagBoot:基于 Scala 开发的轻量级高并发微服务框架。FlagBoot 框架是默认完全异步的,微服务处理任何一个 API 都是完全异步执行的,帮助开发者对异步线程控制进行性能良好的统一管理。FlagBoot 中没有宏、隐式转换等晦涩难懂的代码,再加上 FlagBoot 的代码量极少,使得开发者能够轻易地了解 FlagBoot 的逻辑,并进行自定义的修改。


基于 FlagOpen,国内外开发者可以快速开启各种大模型的尝试、开发和研究工作,企业可以低门槛进行大模型研发。同时,FlagOpen 大模型基础软件开源体系正逐步实现对多种深度学习框架、多种 AI 芯片的完整支持,支撑 AI 大模型软硬件生态的百花齐放。


目前,FlagOpen 大模型技术开源体系也正在与 Linux 基金会等全球开源代表组织与机构积极合作,加快建设面向全球的大模型技术开源生态。


大模型时代的「Linux」


说到 Linux 在互联网时代的开创性意义,很多人都能领会。打造大模型时代的「Linux」,又意味着什么?智源研究院在其中担任何种角色?



这就要从大模型的发展历程开始说起。2020 年,OpenAI 发布了基于 Transformer 的 1750 亿参数「GPT-3」,让人们领略了「大模型」的魅力。后来的这几年,海外的顶尖学术机构和业界实验室争相入局,造出了 Switch Transformer、威震天 - 图灵、PaLM、Gato 等知名大模型。


在国内的 AI 领域,智源研究院是最早投入研发「大模型」的学术机构,是国内大模型研究的先行者。从 2020 年搭建大模型攻关团队,到 2021 年 6 月推出当时规模最大、性能领先的大模型「悟道 2.0」,再到今天的在多模态领域能力全线领先的「悟道 3.0」,智源研究院预见并见证了从「大炼模型」」到「炼大模型」的趋势转变。此外,智源研究院从 2020 年起培育和支撑了国内第一批大模型领域的科研人才和团队的快速成长,这些人才和团队已经成为活跃在国内大模型舞台的中坚力量。


或许是这些前人的经验与智慧,催生出了划时代意义的「ChatGPT」。人们可以通过同一个模型完成多场景任务,大模型成为了支撑无数智能应用的基础平台,使得人工智能技术的大规模应用变为可能,加速了智能时代的真正到来。


但从学术研究、产业落地的维度去展望,我们仍意识到,ChatGPT 想要从一种前沿技术转变为全民普及的应用产品,还缺少「开源操作系统」这种关键要素的推动。当前深度学习阶段的人工智能系统具有难以透彻理解的技术特性,智能时代不应封闭、必须开放、最好开源,特别是作为基础平台的大模型需要全面开源、接受监督,才能得到信任、采纳和广泛应用。


正如近段时间的 AI 圈流传甚广的一张图:



黄铁军指出,大模型是中间状态,既不是最终的服务,也不是研发对象。ChatGPT 的火热只是大模型技术「海平面以上」的冰山一角,可以理解为「一种标志性的 AI 产品」,但深藏于「海平面以下」的大模型技术体系才是更值得关注的部分。


FlagOpen 正是为了建立大模型技术体系而开展的基础性工作,其建立初衷就如同多年前的 Linux,不同之处在于,如今大模型领域的「Linux」在垄断力量形成之前就已成立,并将通过开源开放的形式促进各类机构共创共享,形成良好生态,共同打牢大模型发展根基。


「授人以鱼,不如授人以渔」


在大模型的浪潮之后,未来走什么样的技术路线,什么样的算法、技术会在里面发挥重要的作用,还是一个开放的问题。


这一领域注定会涌入大量的创新型人才,在前所未有的历史机遇里找到自己的位置,为大模型技术体系做出自己的贡献。而实现这一愿景的方法,不应该仅限于加入大公司或者少数极有实力的机构这一条路径。


自 ChatGPT 爆火之后,追逐热点的行为并不少见。但深思熟虑之后,我们能够得出结论:与其说「谁会成为中国的 OpenAI」,不如关注可以做些什么推动中国诞生更多的「OpenAI」。


「智源的 FlagOpen 希望为这些搞大模型研究的人提供展示、验证自己能力的平台,推动学界、业界等多方协同,而不是只有少数几个机构、企业掌握相关的技术和资源,推动大模型研究的长远发展。」黄铁军表示。


这也是 FlagOpen 的出发点:从长远考虑,打好根基,形成完整的大模型技术体系及强大的资源能力,才能产生更多的「ChatGPT 级」的现场级应用。


FlagOpen 的推出也许会深刻影响未来的中国 AI,更与时代中的每一位 AI 开发者息息相关。

相关文章
|
存储 NoSQL 前端开发
jwt与redis,把生成的token放入redis中进行临时存储
jwt与redis,把生成的token放入redis中进行临时存储
1009 0
|
人工智能 文字识别 计算机视觉
【AAAI 2024】M2Doc:文档版面分析的可插拔多模态融合方法
M2Doc是一种创新的多模态融合方法,设计用于增强文档版面分析任务中的纯视觉目标检测器。该方法包括Early-Fusion和Late-Fusion模块,前者通过门控机制融合视觉和文本特征,后者则在框级别合并这两种特征。M2Doc易于集成到各种目标检测器,实验证明它能显著提升DocLayNet和M6Doc数据集上的性能,特别是与DINO结合时,在多个数据集上达到SOTA结果。此外,研究表明M2Doc对于增强复杂逻辑版面分析任务中的文本理解和语义关联特别有效。
|
并行计算 Linux PyTorch
RuntimeError: CUDA error: device-side assert triggered
我在运行PyG和transformers代码时两次遇到了这一问题,在此加以记录。
|
人工智能 分布式计算 大数据
Linux操作系统:开源力量的崛起与影响###
一场技术革命的火种,如何燎原? 本文将带您深入探索Linux操作系统的诞生背景、核心特性及其对现代科技世界的深远影响。从1991年芬兰学生Linus Torvalds的一个小众项目,到如今成为支撑全球无数服务器、超级计算机及物联网设备的基石,Linux的发展既是一部技术创新史,也是开源文化胜利的见证。通过剖析其设计哲学、安全性、灵活性等关键优势,结合实例展示Linux在云计算、大数据处理等领域的广泛应用,本文旨在揭示Linux为何能在众多操作系统中脱颖而出,以及它如何塑造了我们今天的数字生活。 ###
|
JSON 测试技术 API
Python开发解析Swagger文档小工具
文章介绍了如何使用Python开发一个解析Swagger文档的小工具,该工具可以生成符合httprunner测试框架的json/yaml测试用例,同时还能输出Excel文件,以方便测试人员根据不同需求使用。文章提供了详细的开发步骤、环境配置和使用示例,并鼓励读者为该开源项目贡献代码和建议。
602 1
Python开发解析Swagger文档小工具
|
人工智能 自然语言处理 搜索推荐
谈谈我对 AIGC 趋势下软件工程重塑的理解
本文探讨了AIGC(人工智能生成内容)趋势下软件工程的重塑。作者指出,AI 已经成为软件研发的必需品,因为它可以显著提升开发者的效率。
90164 14
|
计算机视觉
OpenCV(三十四):轮廓外接最大、最小矩形和多边形拟合
OpenCV(三十四):轮廓外接最大、最小矩形和多边形拟合
1235 0
|
弹性计算 安全 机器人
定时提醒再也不用担心忘记啦
好记性不如烂笔头,烂笔头不如靠谱的自动化~~~正在寻找自动化流程编排工具或定时任务工具的朋友们赶紧看过来,为你介绍一款简单配置即可实现自动化定时提醒的平台阿里云计算巢AppFLow。
|
存储 算法 关系型数据库
向量数据库的索引技术
【2月更文挑战第2天】向量数据库的索引技术
909 0
|
Ubuntu Windows
ubuntu与windows实现复制粘贴
ubuntu与windows实现复制粘贴
552 0

热门文章

最新文章