新智元报道
编辑：昕朋 好困
【新智元导读】最近，LSTM之父Jürgen Schmidhuber梳理了17世纪以来人工智能的历史。在这篇万字长文中，Schmidhuber为读者提供了一个大事年表，其中包括神经网络、深度学习、人工智能等领域的重要事件，以及那些为AI奠定基础的科学家们。
新智元
，赞47
「人工智能」一词，首次在1956年达特茅斯会议上，由约翰麦卡锡等人正式提出。
实用AI地提出，最早可以追溯到1914年。当时Leonardo Torres y Quevedo构建了第一个工作的国际象棋机器终端游戏玩家。当时，国际象棋被认为是一种仅限于智能生物领域的活动。至于人工智能理论，则可以追溯到1931-34年。当时库尔特·哥德尔（Kurt Gödel ）确定了任何类型的基于计算的人工智能的基本限制。
时间来到1980年代，此时的AI历史会强调定理证明、逻辑编程、专家系统和启发式搜索等主题。
2000年代初期的AI历史会更加强调支持向量机和内核方法等主题。贝叶斯推理（Bayesian reasoning）和其他概率论和统计概念、决策树、 集成方法、群体智能和进化计算，此类技术推动了许多成功的AI应用。
2020年代的AI研究反而更加「复古」，比如强调诸如链式法则和通过梯度下降（gradient descent）训练的深度非线性人工神经网络，特别是基于反馈的循环网络等概念。
Schmidhuber表示，这篇文章对之前具有误导性的「深度学习历史」进行纠正。在他看来，之前的深度学习史忽略了文章中提到的大部分开创性工作。
此外，Schmidhuber还驳斥了一个常见的错误，即神经网络「作为帮助计算机识别模式和模拟人类智能的工具是在1980年代引入的」。因为事实上，神经网络早在80年代前就已出现。
一、1676年：反向信用分配的链式法则
1676年，戈特弗里德·威廉·莱布尼茨（Gottfried Wilhelm Leibniz）在回忆录中发表了微积分的链式法则。如今，这条规则成为了深度神经网络中信用分配的核心，是现代深度学习的基础。
戈特弗里德·威廉·莱布尼茨神经网络具有计算来自其他神经元的输入的可微函数的节点或神经元，这些节点或神经元又计算来自其他神经元的输入的可微函数。如果想要知道修改早期函数的参数或权值后，最终函数输出的变化，就需要用到链式法则。这个答案也被用于梯度下降技术。为了教会神经网络将来自训练集的输入模式转换为所需的输出模式，所有神经网络权值都朝着最大局部改进的方向迭代改变一点，以创建稍微更好的神经网络，依此类推，逐渐靠近权值和偏置的最佳组合，从而最小化损失函数。值得注意的是，莱布尼茨也是第一个发现微积分的数学家。他和艾萨克·牛顿先后独立发现了微积分，而且他所使用的微积分的数学符号被更广泛的使用，莱布尼茨所发明的符号被普遍认为更综合，适用范围更加广泛。此外，莱布尼茨还是「世界上第一位计算机科学家」。他于1673年设计了第一台可以执行所有四种算术运算的机器，奠定了现代计算机科学的基础。
二、19世纪初：神经网络、线性回归与浅层学习
1805 年，阿德利昂·玛利·埃·勒让德（Adrien-Marie Legendre）发表了现在通常称为线性神经网络的内容。
阿德利昂·玛利·埃·勒让德后来，约翰·卡尔·弗里德里希·高斯（Johann Carl Friedrich Gauss）也因类似的研究而受到赞誉。这个来自2个多世纪前的神经网络有两层：一个具有多个输入单元的输入层和一个输出层。每个输入单元都可以保存一个实数值，并通过具有实数值权值的连接连接到输出。神经网络的输出是输入与其权值的乘积之和。给定输入向量的训练集和每个向量的期望目标值，调整 权值，使神经网络输出与相应目标之间的平方误差之和最小化。当然，那时候这还不叫神经网络。它被称为最小二乘法（least squares），也被广泛称为线性回归。但它在数学上与今天的线性神经网络相同：相同的基本算法、相同的误差函数、相同的自适应参数/权值。
约翰·卡尔·弗里德里希·高斯这种简单的神经网络执行「浅层学习」，与具有许多非线性层的「深度学习」相反。事实上，许多神经网络课程都是从介绍这种方法开始的，然后转向更复杂、更深入的神经网络。当今，所有技术学科的学生都必须上数学课，尤其是分析、线性代数和统计学。在所有这些领域中，许多重要的结果和方法都要归功于高斯：代数基本定理、高斯消元法、统计的高斯分布等。这位号称「自古以来最伟大的数学家」的人也开创了微分几何、数论（他最喜欢的科目）和非欧几何。如果没有他的成果，包括AI在内的现代工程将不可想象。
三、1920-1925年：第一个循环神经网络
与人脑相似，循环神经网络（RNN）具有反馈连接，因此可以遵循从某些内部节点到其他节点的定向连接，并最终在起点处结束。这对于在序列处理期间实现对过去事件的记忆至关重要。
威廉·楞次（左）；恩斯特·伊辛（右）物理学家恩斯特·伊辛（Ernst Ising）和威廉·楞次（Wilhelm Lenz）在 1920 年代引入并分析了第一个非学习RNN架构：伊辛模型（Ising model）。它根据输入条件进入平衡状态，是第一个RNN学习模型的基础。1972 年，甘利俊一（Shun-Ichi Amari）使伊辛模型循环架构具有自适应性，可以通过改变其连接权值来学习将输入模式与输出模式相关联。这是世界上第一个学习型RNN。
甘利俊一目前，最流行的RNN就是Schmidhuber提出的长短期记忆网络LSTM。它已经成为20世纪被引用最多的神经网络。
四、1958年：多层前馈神经网络
1958年，弗兰克·罗森布拉特（Frank Rosenblatt）结合了线性神经网络和阈值函数，设计出了更深层次的多层感知器 (MLP)。
弗兰克·罗森布拉特多层感知器遵循人类神经系统原理，学习并进行数据预测。它首先学习，然后使用权值存储数据，并使用算法来调整权值并减少训练过程中的偏差，即实际值和预测值之间的误差。由于多层前馈网络的训练经常采用误差反向传播算法，在模式识别的领域中算是标准监督学习算法，并在计算神经学及并行分布式处理领域中，持续成为被研究的课题。
