2.2.1 什么是神经网络
人工神经网络（ Artificial Neural Network， 简写为ANN）也简称为神经网络（NN）。是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）结构和功能的 计算模型。经典的神经网络结构包含三个层次的神经网络。分别输入层，输出层以及隐藏层。
其中每层的圆圈代表一个神经元，隐藏层和输出层的神经元有输入的数据计算后输出，输入层的神经元只是输入。
- 神经网络的特点
- 1、每个连接都有个权值
- 2、同一层神经元之间没有连接
- 3、最后的输出结果对应的层也称之为全连接层
- 组成：
- 输入层：神经网络的第一层，原始的样本数据
- 输出层：神经网络的最后一层，最终的计算结果
- 隐藏层：其余的中间层都被称为隐藏层（hidden layer）
- 权重（weight）：就是之前所说的参数，这里被称为一个神经节点的权重。
- 激活函数（activation function）：激活函数是两层神经元之间的映射函数，是一种输出到输入的转换，一般是非线性的，而且是单调可微函数（因为优化方法是基于梯度的）。常见的激活函数有：sigmoid,tanh
那么为什么设计这样的结构呢？首先从一个最基础的结构说起，神经元。以前也称之为感知机。神经元就是要模拟人的神经元结构。
一个神经元通常具有多个树突，主要用来接受传入信息；而轴突只有一条，轴突尾端有许多轴突末梢可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接，从而传递信号。这个连接的位置在生物学上叫做“突触”。
要理解神经网络，先解释一种叫做感知机（perceptron）的人工神经元。感知机由科学家Frank Rosenblatt发明于1950至1960年代，他受到了来自Warren McCulloch 和Walter Pitts的更早工作的启发。
注：我们通常使用其它种类的人工神经元模型，主要使用的是一种叫做sigmoid神经元（sigmoid neuron）的神经元模型。
2.2.1.1 感知机(PLA: Perceptron Learning Algorithm))
感知机就是模拟这样的大脑神经网络处理数据的过程。感知机模型如下图：
感知机是一种最基础的分类模型，前半部分类似于回归模型。感知机最基础是这样的函数，而逻辑回归用的sigmoid。这个感知机具有连接的权重和偏置
2.2.3 神经网络发展史
- 1、深度学习其实并不是新的事物，深度学习所需要的神经网络技术起源于20世纪50年代，那个时候叫做感知机。当时也通常使用单层感知机，尽管结构简单，但是能够解决相当复杂的问题。
- 2、后来感知机被证明存在严重的问题，因为只能学习线性可分函数，连简单的异或(XOR)等线性不可分问题都无能为力，1969年Marvin Minsky写了一本叫做《Perceptrons》的书，他提出了著名的两个观点：1.单层感知机没用，我们需要多层感知机来解决复杂问题 2.没有有效的训练算法。
- 3、1974年哈佛大学博士毕业生Paul J. Werbos首次提出反向传播算法应用在神经网络的可能，The Roots of Backpropagation: From Ordered Derivatives to Neural Networks and Political Forecasting，但并未得到学术界的重视。直到1986年BP算法才真正开始流行起来，主要是因为Rumelhart、Hinton、Williams合著的《Learning representations by back-propagating errors》
- 4、 虽然训练算法有了突破，但是还存在很多问题，比如以当时计算机的计算能力，训练一次神经网络耗时太久，不具备实际使用价值。同时还会存在过拟合以及梯度消失等问题。而90年代中期，由Vapnik等人发明的支持向量机（Support Vector Machines，SVM）算法诞生，它同样解决了线性不可分问题，但是对比神经网络有全方位优势：
- 1、高效，可以快速训练；
- 2、无需调参，没有梯度消失问题；
- 3、高效泛化，全局最优解，不存在过拟合问题，几乎全方位的碾压神经网络。
- 5、几乎在这10几年的时间，只有Hinton等几位学者在研究神经网络。直到2006年，提出了"深度置信网络"概念，有一个预训练的过程。使用微调技术作为反向传播和调优手段。减少了网络训练时间，并且提出了一个新的概念叫做"深度学习"
- 6、直到2012年，在ImageNet竞赛中，Hinton教授的团队，使用以卷积神经网络为基础的深度学习方案，他们训练的模型面对15万张测试图像时，预测的头五个类别的错误率只有 15.3%，而排名第二的日本团队，使用的SVM方法构建的模型，相应的错误率则高达 26.2%。从此一战成名！2012年后深度学习就成为主流。
2.2.4 总结
- 神经网络的定义
- 感知机与神经网络的联系
- 神经网络的发展历史
