大模型铺天盖地出现后,计算机科学终成「自然科学」

简介: 大模型铺天盖地出现后,计算机科学终成「自然科学」
当部分人工智能正偏离其工程本源,AI 研究的方向变化,超出了我们的预料。


当前的人工智能(AI)处在一个奇妙的时代,时常会出现让人惊叹的隐性知识(Polanyi 的复仇和人工智能的新型浪漫与隐性知识,https://bit.ly/3qYrAOY),但可以确信在未来相当长的一段时间,计算机无法完成这个任务。最近出现的让人感兴趣的研究是基于 Transformer 架构的大型学习系统,基于大网络规模的多模态语料库和数十亿参数的训练。典型例子如大型语言模型、响应任意形式文本 prompt 的 GPT3 和 PALM、将文本转换成图像的语言 / 图像模型 DALL-E 和 Imagen(甚至具有通用行为的模型如 GATO)。

大型学习模型的出现从根本上改变了人工智能研究的性质。最近研究人员在使用 DALL-E 时,认为它似乎已经发展出自己的特有语言,如果人类能掌握它,或许可以更好地与 DALL-E 交互。也有研究人员发现,可以通过在 prompt 中添加某些神奇的咒语(比如「让我们一步步地思考」)来改善 GPT3 对推理问题的表现。现在 GPT3 和 DALL-E 这样的大型学习模型就像是「外星物种」一样,我们要尝试解码它们的行为。

对于人工智能来说,这无疑是一个奇怪的转折点。自出现以来,人工智能一直是介于工程学(特定功能的系统)和科学(发现自然现象规律)之间的「无人区」地带。人工智能的科学部分源于其最初的主张,即对人类智能本质的洞察;而工程部分则源于对智能功能(让计算机展示智能行为)的关注,而不是对人类智能的洞察。

而目前的情况正在迅速变化,特别是人工智能已成为大型学习模型的同义词。当前的现状是,人们对于训练过的模型是如何拥有特定功能一无所知,甚至它们可能具有的其它功能一无所知(如 PALM 所谓的「解释笑话」的能力)。即使是它们的创造者,通常也对这些系统能做的事情始料不及。探索这些系统以了解其「功能」范围,已成为近来人工智能研究的趋势。

越来越清楚的是,部分人工智能正偏离其工程本源。如今很难将大型学习系统看作传统意义上有特定目标的工程设计。毕竟人们不能说自己的孩子是「设计」出来的。工程学领域通常不会为设计的系统出现意料之外的新特性而庆祝(就如同土木工程师不会因为他们设计的抵御五级飓风的桥梁被发现还能悬浮而激动兴奋的庆祝)。

越来越多地证据表明,这些经过训练(但未经设计)的大型系统的研究注定要成为自然科学:观察系统的功能;做消融研究;对最佳实践进行定性的分析。

考虑到目前研究表象而非内里的事实,这类似于生物学中想在没有实际证据的情况下达到「弄清楚」的宏伟目标。机器学习属于研究工作,更多地关注系统为什么会做它正在做的事情(可以想象成对大型学习系统做「核磁共振成像」研究),而不是证明设计系统就是为了这样做。这些研究收获的知识能提升微调系统的能力(就像医学一样)。当然表象的研究允许比内里设置进行更具针对性的干预。

人工智能变成自然科学,也会对整个计算机科学产生影响,考虑到人工智能会对几乎所有计算领域都产生巨大影响。计算机科学的「科学」二字也受到过质疑和讽刺。但现在情况已有改变,因为人工智能已经成为研究大型人工学习系统的自然科学。当然,这一转变可能存在很大的阻力和意见,因为计算机科学长期以来一直是「建构修正的方法 (correct by construction)」圣杯,从最开始计算机科学就相当于生活在充满激励的系统中,它像训练有素的狗不犯错,就像人类一样正确。

早在 2003 年,图灵奖得主 Leslie Lamport 对计算未来属于生物学而非逻辑的可能性敲响警钟,称计算机科学将让我们生活在顺势疗法和信仰疗愈的世界。当时他的焦虑主要是针对人类通过编程完成的复杂软件系统,而不是现在更神秘的大型学习模型。

当从一个主要关注有意设计和「通过构造保证正确」的领域,转向试图探索或理解现有的(未经设计的)人工产物,它将带来的方法学转变值得思考。与生物学研究野外生物不同,人工智能研究人类创造的缺乏「设计感」的人工产物,对于创造和部署那些不被理解的人工产物,伦理问题是肯定会出现的。大型学习模型不太可能保证支持可证明的能力,无论是关于准确性、透明度还是公平性,然而这些是部署和实践这些系统的关键问题。虽然人类也无法提供关于其自身决定和行为正确性的证据,但确实有法律制度来让人类遵守惩罚,如罚款、谴责甚至监禁。而对于大型学习系统,有什么是等价的制度?

计算研究的美学也会发生改变。目前的研究者可以用论文中包含定理与定义的比例来评价论文。但随着计算机科学的目标,越来越像生物学等自然科学的目标,就需要开发新的计算美学方法论(因为零定理与零定义比例不会有很大的区别)。有迹象表明,计算复杂性分析在人工智能研究中已处于次要地位。

原文链接:https://cacm.acm.org/magazines/2022/9/263799-changing-the-nature-of-ai-research/fulltext

相关文章
|
2月前
|
人工智能 自然语言处理 监控
58_大模型评估与评测:构建科学的多维度评测体系
在大语言模型(LLM)技术飞速发展的今天,如何科学、全面地评估和评测这些模型的能力已成为学术界和工业界共同关注的核心问题。2025年,大模型生态系统呈现出百花齐放的态势,从参数规模、架构设计到应用场景都出现了多样化的发展路径。在这种背景下,单一的性能指标或评测方法已经无法满足对大模型进行全面评估的需求。
|
人工智能 算法 API
🎯精准狙击!生成式AI大模型入门,提示词打造的艺术与科学🎨🔬
【8月更文挑战第1天】在AI领域中,生成式大模型正成为技术与创意融合的关键。掌握提示词构建艺术,既能激发AI的创造力又能确保其科学性。如为DALL-E设计“梦幻森林”需详细描述来引导AI绘出心灵蓝图。同时,提示词应逻辑清晰、具体明确,如指定未来城市规划的细节。实践中需不断优化,如使用GPT-3 API生成关于AI医疗应用的文章时调整参数以改进结果。最终,将艺术与科学相结合,使AI成为强大创意工具。
273 7
|
数据处理
大模型将推动基础科学取得突破
【1月更文挑战第13天】大模型将推动基础科学取得突破
226 2
大模型将推动基础科学取得突破
|
机器学习/深度学习 人工智能 自然语言处理
7 Papers & Radios | 谷歌用Pathways训练5400亿参数大模型;费米实验室研究登《科学》封面(2)
7 Papers & Radios | 谷歌用Pathways训练5400亿参数大模型;费米实验室研究登《科学》封面
155 0
|
机器学习/深度学习 编解码 人工智能
7 Papers & Radios | 谷歌用Pathways训练5400亿参数大模型;费米实验室研究登《科学》封面(1)
7 Papers & Radios | 谷歌用Pathways训练5400亿参数大模型;费米实验室研究登《科学》封面
177 0
|
3月前
|
人工智能 自然语言处理 IDE
模型微调不再被代码难住!PAI和Qwen3-Coder加速AI开发新体验
通义千问 AI 编程大模型 Qwen3-Coder 正式开源,阿里云人工智能平台 PAI 支持云上一键部署 Qwen3-Coder 模型,并可在交互式建模环境中使用 Qwen3-Coder 模型。
770 109
|
3月前
|
分布式计算 测试技术 Spark
科大讯飞开源星火化学大模型、文生音效模型
近期,科大讯飞在魔搭社区(ModelScope)和Gitcode上开源两款模型:讯飞星火化学大模型Spark Chemistry-X1-13B、讯飞文生音频模型AudioFly,助力前沿化学技术研究,以及声音生成技术和应用的探索。
329 2
|
3月前
|
人工智能 Java API
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
本文介绍AI大模型的核心概念、分类及开发者学习路径,重点讲解如何选择与接入大模型。项目基于Spring Boot,使用阿里云灵积模型(Qwen-Plus),对比SDK、HTTP、Spring AI和LangChain4j四种接入方式,助力开发者高效构建AI应用。
1645 122
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
|
2月前
|
人工智能 搜索推荐 程序员
当AI学会“跨界思考”:多模态模型如何重塑人工智能
当AI学会“跨界思考”:多模态模型如何重塑人工智能
309 120
|
4月前
|
存储 人工智能 自然语言处理
告别文字乱码!全新文生图模型Qwen-Image来咯
通义千问团队开源了Qwen-Image,一个20B参数的MMDiT模型,具备卓越的文本渲染和图像编辑能力。支持复杂中英文文本生成与自动布局,适用于多场景图像生成与编辑任务,已在魔搭社区与Hugging Face开源。
840 2