开发者学堂课程【机器学习算法 ：学习向量量化神经网络】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/535/detail/7247
学习向量量化神经网络
内容介绍
一、学习向量量化神经网络
二、LVQ 神经网络
三、LVQ 的网络结构
四、LVQ 的学习算法
一、学习向量量化神经网络
学习向量量化神经网络（ Learning Vector Quantization , LVQ )，在竞争网络的基础上，由 Kohonen 提出，其核心为将竞争学习与有监督学习相结合，学习过程中通过教师信号对输入样本的分配类别进行规定，克服了自组织网络采用无监督学习算法带来的缺乏分类信息的弱点。
量化：在数字信号处理领域，是指将信号的连续取值（或者大量可能的离散取值）近似为有限多个（或较少的）离散值的过程。向量量化是对标量量化的扩展，更适 Teuvo Kohonen 用于高维数据。
二、LVQ 神经网络
将高维数据映射到二维输入平面上，之前的 Winner - Take - Al 和 SOFM 算法都是类似的向量量化算法，都能用少量的聚类中心表示原始数据。但 SOFM 的各相聚类中心对应的向量具有某种相似的特征，而一般向量量化的中心不具备这种特点。
第一步，聚类；通过自组织映射进行聚类
第二步，学习向量量化；通过有监督方法，利用教师信号作为分类信息对权值进行调整，并指定输出神经元的的类别
三、LVQ 的网络结构
网络结构特点：
- 由三层组成：输入层、竞争层、输出层
- 输入层和竞争层之间是全连接
- 一组竞争层节点对应一个输出节点
- 输入层到竞争层的权重可调整
- 竞争层到输出层的权重通常为固定值1
- 竞争层的学习规则为胜者为王 WTA
- 竞争层的胜者输出为1，其余为0
四、LVQ 的学习算法
输入向量记作： X =(X1，X2,…, Xn ) T
竞争层的输出： Y =(Y1，Y2… Ym )”
输出层的输出：0=(O1,O2,…, Oi)”
输出层网络期望输出： D =( dj dz ,…, d )
输入层到竞争层的权重： w (1)=( wS , wS ,…, w )
竞争层到输出层的权重： w (2)=( w . w ),…,w3))
输入样本集为： {( Xj Di ),( Xz ,D2),…}其中 X ；为 n 维的输入向量， D 为 i维输出向量，只有某一分量为1，其余为0
初始化：给 w (1）赋初始值，确定初始学习速率 n ，和训练次数 T 输入样本向量：输入 X
寻找获胜神经元 找到和输入变量最接近的权重对应的神经元，即为获胜神经元，记作，其满足以下条件：
权重调整：得到获胜神经元后，判断其分类与预期分类是否正确（即教师信号是否和期望结果一致），调整权重
如果一致（即分类正确），向输入样本方向调整权重，按以下公式进行：
如果不一致（即分类错误），向背离输入样本的方向调整权重，按以下公式进行：
更新学习速率：
是否结束：如 果t<T, 输入下一个样本，继续训练。
