新智元报道  

编辑：LRS 好困

【新智元导读】从ChatGPT来看，符号主义和连接主义该如何发展？

近十年，连接主义者在各种深度学习模型加持下，借着大数据、高算力的东风在人工智能赛道上领跑符号主义。

但每次有新的深度学习大模型发布，如近期火爆的ChatGPT，在对其强大的性能惊叹赞扬之后，就是对研究方法本身的激烈讨论，模型本身的漏洞与缺陷也会浮现。

最近，来自北冥实验室的钱小一博士，作为一个坚持十年符号流派的科学工作者、创业者，针对ChatGPT模型发表了一篇较为冷静和客观的评价。

总体而言，我们认为ChatGPT是一个里程碑式事件。

预训练模型开始显现出强大效果一年前就开始了，这次到了一个新高度，从而被更多人关注；而这个里程碑之后，人类自然语言相关的很多工作模式会开始改变，甚至有大量被机器替代。

没有技术是一蹴而就的，相比看到其不足，一个科学工作者更应该对其潜力有敏感性。

作者简介

作者钱小一博士是符号主义人工智能科学家，高级工程师，杭州市高层次认定人才，逻辑仿生framework 的早期探索者，第一版 M 语言符号体系的创作者。北冥星眸创始人、CEO、董事长。

上海交通大学应用经济学博士，美国 CGU 德鲁克商学院金融工程硕士，浙江大学竺可桢学院丘成桐数学英才班数学金融双学士。通用AI领域研究已有11年，带领团队进行工程实践7年。

符号主义&连接主义的边界

我们团队这次特别关注ChatGPT，不是因为大众看到的惊艳效果，因为很多看似惊艳效果我们还是能够在技术层面理解的。

真正冲击我们感官的是它部分任务中突破了符号流派和神经流派的边界——逻辑能力，在类似自代码和评价代码等若干任务中ChatGPT似乎体现了这种能力。

一直以来我们认为符号流派是擅长再现人类强逻辑的智能的，比如如何解决一个问题，分析一个问题的原因，创造一个工具等等；

而连接主义本质是一个统计型的算法，是用来从样本中发现平滑规律的，比如通过足够多的人类对话找到下一句该说什么的规律；通过描述性的文字找到对应的图像的识别和生成的规律……

我们可以理解这些能力，可以通过更大的模型，更多优质的数据，强化学习循环增强的方式来变得非常出众。

我们认为人类身上兼有符号和神经两个技术路径的特征，比如所有可反思认知过程、知识的学习和运用过程、大量可反思的思维、行为、表达模式、可反思的动机、情绪都是容易在以符号表征为基础系统解释和再现。

当你看得外国人脸足够多，你就具有识别外国人脸的能力，你也说不清为什么；

能够在看完第一个电视剧后自然而然具备模仿男主角说话的能力；

在经历过足够多的对话后，能够不过脑的聊天，这些都是神经的特征。

我们可以把强逻辑的部分比喻为长骨头，「非逻辑的规律掌握能力」比喻成长肉。

以符号「长骨架」的能力去「长肉」是困难的，同样神经以「长肉」的能力去「长骨架」也是艰难的。

正如我们在陪伴AI搭建过程中符号系统擅长把握对话者特定维度的信息，分析背后的意图，推知相关的事件，给出精准的建议，但不擅长创造平滑自然的对话。

我们也看到GPT为代表的对话生成模型虽然能创造平滑的对话，但在对话中使用长期记忆创造连贯的陪伴、产生合理的情绪动机、完成有一定深度的逻辑推理以给出分析建议，在这些方面的实现上是艰难的。

大模型的「大」并非是一个优势，而是统计类算法试图从表层数据掌握一部分其内蕴的强逻辑主导的规律付出的对价，它体现了符号和神经中间的边界。

在对ChatGPT的原理有了更深入地了解后，我们发现它只是把较为单纯的逻辑运算视为一种规律训练生成，并没有突破原有的统计算法的范畴——也就是系统的消耗仍然会随着逻辑任务深度的增加几何增长。

但为何ChatGPT又能突破原有大模型的极限呢？

ChatGPT如何突破普通大模型的技术极限

让我们以非技术的语言来说明ChatGPT如何突破其他大模型极限背后的原理。

GPT3在出现时就体现出了超越其他大模型的体验。这和自监督，也就是数据的自标注相关。

仍然以对话生成为例子：一个大模型以海量数据训练掌握了60轮对话和下一句表达的规律。