开发者学堂课程【机器学习算法 ：竞争学习原理与策略】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/535/detail/7244
竞争学习原理与策略
内容介绍
一、多层感知网络的问题
二、生物神经系统的情况
三、自组织神经网络
四、竞争学习
五、竞争学习原理：胜者为王
一、多层感知网络的问题
多层感知网络的问题存在下列问题：
1.学习过程中，所有权重的值都要调整。存在两个问题：训练过程中计算量过大，并且会存在权重不稳定的可能
2.误差曲面复杂有起伏时，容易陷入局部最小值，其最终结果可能不理想
3.误差准则（权重更新的依据）是固定的，或者在某种程度上来讲是固定的，不能随着环境的变化而进行相应的调整或改变
4.更适用于平稳的环境，各种对象、对象间关系及观察结果具有统计平稳性，各项统计特性不会随着时间的变化而变化
二、生物神经系统的情况：
对于上述问题，生物神经系统的情况：
1.人脑的学习是自主式的：可以应对一个非常复杂的、不平稳的、有干扰的环境，辨识学习目标并习得知识。属于没有导师的自学模式。
2.人脑的工作方式及信息的存储和检索方式都非固定模式的，而是更接近自组织的：人通过学习积累经验，对外界的环境做出响应，响应对了得到奖励，响应错了受到惩罚，在这个过程中根据反馈结果不断的修正、调整自己的响应策略和方式，以便得到更好的结果
3.人的学习能力和记忆能力有弹性、可塑性。常用的知识会学好、记牢，不常用的会逐渐忘掉
4.据研究，脑神经元中存在抑制作用，不但接收外界环境刺激、其他神经元的刺激，也会受到周围神经元的抑制
5.人在响应外界环境时，既能由底向上（根据外界输入对其进行分类、识别），又能从顶向下（既能几种注意力，又能忽略一些非重要信息）
三、自组织神经网络
自组织神经网络（Self Organization Neural Network, SONM)，又称自组织竞争神经网络，通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。通常自组织通过竞争学习（Competitive Learning）实现。
1.自组织神经网络属于前馈神经网络
2.自组织神经网络采用无监督学习算法
3.其思路为：竞争层的神经元通过竞争（与输入模式进行匹配），选出一个获胜者，其输出就代表了对输入模式的分类
4.常见的：自适应共振理论网络 ART、自组织特征映射网
络 SOM、对偶传播网络 CPN 等 （在后续的过程中会讲解到）
5.适合解决模式分类和识别方面的问题
四、竞争学习：
在学习算法上，自组织神经网络模拟生物神经系统依靠神经元之间的兴奋、协调与抑制、竞争的作用来进行信息处理的原理指导网络的学习与工作，而不像大多数神经网络那样以网络的误差或者能量函数作为算法的准则。
竞争学习是自组织网络中最常用的一种学习策略。
竞争学习（Competition Learning）是人工神经网络的一种学习方式，指网络单元群体中所有单元相互竞争对外界刺激模式响应的权利。竞争取胜的单元的连接权重向着对这一刺激有利的方向变化，相对来说竞争取胜的单元抑制了竞争失败单元对刺激模式的响应。属于自适应学习，使网络单元具有选择接受外界刺激模式的特性。竞争学习的更一般形式是不仅允许单个胜者出现，而是允许多个胜者出现（最常见的就是获胜的神经元，可能会有一个小范围的附设，靠近它的一些神经元会有输出。及排名靠前的也会有输出机会。）学习发生在胜者集合中各单元的连接权重上。
五、竞争学习原理：胜者为王
胜者为王学习规则（Winner-Take-ALL）：网络对输入做出响应，其中具有最大响应的神经元被激活，该神经元获得修改权重的机会。
将网络的某一层设置为竟争层，对于输入X竟争层的所有p个神经元均有输出响应，响应值最大的神经元在竞争中获胜，即：
获胜的神经元才有权调整其权向量
，调整量为：
，其中
（0,1]，随着学习而减小。
1、在竟争学习过程中，竟争层的各神经元所对应的权向量逐渐调整为输入样本空间的聚类中心。
2、在实际应用中，通常会定义以获胜神经元为中心的邻域，所在邻域内的所有神经元都进行权重调整。
