开发者学堂课程【神经网络概览及算法详解：神经网络模型】学习笔记与课程紧密联系，让用户快速学习知识
课程地址：https://developer.aliyun.com/learning/course/40/detail/917
神经网络模型
1、神经网络模型分类按照拓扑结构可分为层次结构和互连结构
单纯的层次结构，指的每一个圆圈都是一个新源，这是输入节点，它的输出连向另外一个神经元，从而通过这种神经元之间的连接，形成一个相对复杂的神经网络模型叫做单纯层次结构。
其中层次之间有连接，层次间没有跨层连接，指的是层和层之间有连接，这个连接叫全连接，每一个时间节点和另一个成立的成员。
每一个神经元件的都有连接，只要全连接，跨层的都没有，内有互连也在这个层内的互联变成红颜色的了，就是在同一层之内的这个什么元之间，是有一些链接的有链接就说明什么了，有时候说出的关系，还有一个叫输入层到输入层有链接，就这是另外一种，就是可以看这种单纯层次结构的，最终输出层的时候，它有一个输出信号有作为输入信号反馈到我们这个输入上来了，这是按照层次结构来分。
按照互连结构:每个节点都和其他所有节点连接。第1个模型是全互连，指的是每一个节点和其他所有的节点都有连接，比如第1个节点是和任何其他节点都有连接，比如1~2有一个直接的连接，还有一个连接到3，2到1或者到3都有连接，这种叫全互连。
局部互联:每个节点只与其邻近节点有连接。每个节点与其他临近节点有连接叫做局部互连。
稀疏连接:节点只与少数相距较远的节点有连接。每个节点只与少数相距较远的节点有连接叫做稀疏连接。
对于上面两种，一个是局部，一个是互连，这是两个不同结构，实际上神经网络有非常多的变种，至于变种的应用场景，处理某些问题上是否有优势，可以自己了解。
2、按照这个信息流向可以分为前馈性网络和反馈性网络：
前馈型网络:主要是网络信息从输入层中输入层到隐藏层，再到输出层逐层前进，就像这种这是输入节点到隐藏层再从隐藏中到输出层逐层前进。
反馈性网络：就是反馈网络中所有节点都具有新的处理功能，并且每个节点既可以接收输入，同时又可以进行输出，刚才的全连接实际上是反馈型网络，它的输出又可以作为输入。
前馈型神经网络（FeedForward NN）它是一种最简单的神经网络，采用单向多层结构，它的传播方向是一个方向的，是向前，多层指输入层隐藏层，隐藏层可以有多个，如果隐藏层足够多叫做多隐藏层的潜客型网络，各神经元分层排列每个神经元只与前一层的神经元相连，接受前一层的输出并输出给下一层，各层间没有反馈。比如隐藏层只接受上一层变成输入，输出只输出给下一层是输出层。
输入节点：外界信息输入，不进行任何计算，仅向下一层传递信息。
隐藏节点：接受上一层结点的输入进行计算，并将信息传到下一层结点，接收上一层的输入，不管上一层是输入层还是还是另一个隐藏层，接受这个输入层并进行处理，产生一个输出，传给下一层输出节点。
输出节点：只负责接受上一层节点的输入，进行计算把结果进行输出。输入层和输出层必须有，隐藏层可以没有，即为单层感知器，隐藏层也可以不止一层，有隐藏层的前馈网络即多层感知器。首先进行信息输出，隐藏层会接收上一层的输入来进行处理输出，输出给下一层，直到最后一个隐藏层汇报数据输出到输出层，输出层通过数据进行计算，最后作为输出。
前馈与反馈
反馈神经网络 (FeedBack NN ) :又称递归网络，回归网络,是一种将输出经过一步时移再接入到输入层的神经网络系统。这类网络中,神经元可以互连,有些神经元的输出会被反馈至同层甚至前层的神经
元。常见的有Hopfield神经网络、EIman神经网络、Boltzmann机等。
简单来说输出层还会返回到输入层中再作为一个输入。
前馈神经网络和反馈神经网络的主要区别:
前馈神经网络各层神经元之间无连接,神经元只接受上层传来的数据,处理后传入下一层,数据正向流动。反馈神经网络层间神经元有连接，数据可以在同层间流动或反馈至前层。
前馈神经网络不考虑输出与输入在时间上的滞后效应;反馈神经网络考虑输出与输入之间在时间上的延迟, 需要用动态方程来描述系统的模型。
前馈神经网络的学习主要采用误差修正法(如BP算法) , 计算过程一般比较慢,收敛速度也比较慢;反馈神经网络主要采用Hebb学习规则,一般情况下计算的收敛速度很快。
相比前馈神经网络,反馈神经网络更适合应用在联想记忆和优化计算等领域。
前馈神经网络这个单隐层，通过数据输进来之后，单隐层开始工作，最终通过输出到输出层，输入层计算后找到最终的输出，但是反馈不同，X是输入，输入后到隐藏层，隐藏层有输出，同时带有反馈，反馈输出又作为输入，我们把这个反馈信息网络展开成一个线性的，
展开的时候要考虑到时间因素，它的输入是两个，一个是原有输入，另一个是上一个时间点的输出作为它的输入，类似递归进行展开。
