开发者学堂课程【神经网络概览及算法详解：神经元模型】学习笔记与课程紧密联系，让用户快速学习知识
课程地址：https://developer.aliyun.com/learning/course/40/detail/916
神经元模型
内容介绍
一、前言
二、介绍神经元
三、 M-P 模型
四、激活函数
一、前言
第二章是神经元模型，在前面介绍人工神经网络时提到，神经元模型是受人脑的启发，试图模拟人脑的工作原理，从而实现智能。
二、介绍神经元
1.生物神经元的结构
神经元是脑组织的基本单元，是神经系统结构与功能的单位。资料显示，人脑大概由超过110个神经元组成。不同的神经元形态不同，功能也有差异，这里简单总结了一下它的共性结构，如下：
（1）都有一个细胞体，是神经元主体，由细胞核、细胞质、细胞膜等组成，细胞膜对细胞液中的不同离子通透性不同，使得产生离子浓度差，从而出现内负外正的静息电位。
（2）都存在树突结构，可以通过树突接受，来自其他神经元的输入信号。
（3）都存在轴突结构，可以传出细胞体产生的输出电化学信号。
（4）都存在突触结构，神经元间通过一个轴突末梢和其他神经元的细胞体或树突进行通信连接，相当于神经元之间的输入输出接口。
2.生物神经元的功能
突触是神经元的输入和输出接口，树突和细胞体作为输入端，接收突出点的输入信号；细胞体相当于一个处理器，对各树突和细胞体各部位收到的来自其他神经元的输入信号进行组合，并在一定条件下触发，产生一个输出信号，输出信号沿轴突传至末梢，轴突末梢作为输出端，通过突触将这输出信号传向其他神经元。
简化之后，可如图所示：
突触相当于输入，它接收其他神经元的输入信号，通过树突传送到细胞体，在细胞体内经过处理后，产生的信号会通过轴突输送到突触，然后传递给下一个神经元。
3.生物神经元的信息处理机制
生物神经元信息的产生、传递、接收和处理是一种电化学活动，它的机制如下：
信息产生时，在某一时刻，神经元总是处于静息、兴奋和抑制三种状态之一，在外界的刺激下，当神经元的兴奋程度大于某个阈电位时，神经元被激发，从而发出神经脉冲。
神经脉冲信号沿轴突传向其末端的各个分支，通过突出完成传递与接收。突触有兴奋性突触和抑制性突触两种，当兴奋性突触的电位超过某个阈电位后，后一个神经元就有神经脉冲输出，从而把前一个神经元的信息传递给后一个神经元。电化学信号并不是都有的，当处于抑制状态时就没有。
接收各个轴突传来的脉冲输入，根据输入可到达神经元的不同部位，输入部位不同，对神经元影响的权重也不一样。在同一时刻产生的刺激所引起的电位变化大致等于各单独刺激引起的电位变化的代数和。神经元根据空间和时间，对输入进行积累和整合加工，从而决定输出的时间和强弱。
生物神经网络是由多个生物神经元以确定方式和拓扑结构互相连接，即形成生物神经网络，是一种更为灵巧、复杂的生物信息处理系统，在宏观上呈现出复杂的信息处理能力。
刚刚就介绍了神经元的处理机制，收集到输入信号后，在细胞体里进行信息整合处理。简单来讲，是代数和累加，然后判断是否超过阈值，如超过，则会激发一个输出的电化学信号，没超过则没有输出信号。对一个神经元来说，它的功能是非常简单的，但对于多个神经元来说，它的信息处理功能是较为复杂的。
以上介绍了生物神经元，目前我们对人脑研究还远远不够，这里只是从神经元中提取了最基本的共性进行讲解，如此以来便对人脑的工作原理有了一定的认识。
三、 M-P 模型
1.简要介绍
1943年，心理学家 McCulloch 和数学家 W.Pitts 基于神经元的特
点，提出了 M-P模型。模型通过对生物神经元信息处理的过程进行了
一个简化和概括，模拟了神经元的工作原理。
如图所示：
这是 M-P 模型和生物神经元的匹配关系。树突对应着输入，细胞体和轴突的处理相当于模型中的处理体，细胞体上的加号表示在此处进行代数和累加，然后在轴突进行判断，在模型中使用了阶函数，若代数和大于规定的阈值，则输出信号（1），若小于则不输出（0）。就是通过这样一个简单的模型，模拟了生物神经元。
2.特点
每个神经元都是多输入单输出的信息处理单元。神经元的输入分为兴奋性输入和抑制性输入两种类型，具有空间整合特性和阈值特性。神经元的输入和输出之间有固定的时间延迟，具有持续性。我们有时会忽略神经元的时间整合作用，忽略兴奋期后的不应期，即在神经元兴奋后，短时间内对相同刺激不再有任何的响应。
以上是生物神经元的特点，接下来看一下M-P模型的特点，可以说他们两个的特点是大同小异的。
首先是多个输入单个输出，输入信息我们用 x 来表示，有 n 个，输
出信息用 o来表示。第二个特点是不同输入权重不一样，不同输入的
权重值用 w 来表示。第三个特点是多输入累加整合，在处理体里进行
代数累加，即求 ∑｜f 。第四个特点是阈值特性，判断累加和与阈值
的大小，大于阈值输出1，小于则输出0。如图所示，可以上图结合来
看：
M-P 模型其实很简单，它对生物神经元的一些主要特点进行了抽象和
模拟。 M-P模型设置了一个二值开关元件，即输出0或输出1。按照
不同方式组合来完成各种逻辑运算。能够构成逻辑与、非、或，理论
上可以组成任意复杂的逻辑关系，若将 M-P 模型按一定方式组织起
来，可以构成具有逻辑功能的神经网络。
M-P 模型处理的公式如图所示：
设阈值为 Tj ，激活函数为 sign(·) ，有 oj = f( netj-Tj )，即当 netj >
Tj时，输出 oj = 1，其他 oj = 0，为了表示方便，记 woj = Tj ， x0
= -1，则有（如图所示）:
四、激活函数
前面提到了激活函数，即上图中的符号函数（ sgn ），就是激活函数（ Activation Function ），也叫连接函数、传递函数、变换函数或者激励函数。用来模拟神经元输出与其激活状态之间的联系，比如当输入达到某个阈值后达到激活状态，否则为抑制状态。不同的激活函数会使神经元具有不同的信息处理特性。对于神经网络来讲，激活函数的主要作用就是进行变换，增加系统的非线性表达能力。常见的激活函数有很多，这里有几个简单的函数，如图所示：
后面的课程会详细的讲解激活函数，以及不同激活函数的作用和效果。
