散Hopfield网络-4|学习笔记

开发者学堂课程【神经网络概览及算法详解：散Hopfield网络-4】学习笔记与课程紧密联系，让用户快速学习知识

课程地址：https://developer.aliyun.com/learning/course/40/detail/943

离散Hopfield网络-4

 

DHNN例子

根据上章讲述的例子，为何有2/3概率变为本身原因如下：

l 例子：

此时三节点的DHNN 网络，其阈值、权重值都已经确定，即该网络能够存储的记忆值均以确定。计算网络的演变过程。

l 演变过程

1.第一步：初始状态(0 0 0)^T

（1）如果优先更新x₁：

由计算结果知x1发生变化，变为1，此时网络状态为（1 0 0）^T，即图中000->100概率1/3的路径。

 

（2）该步优先更新x_2：

x₂计算出的值为0，则网络状态不发生改变。

，网络状态（0 0 0 )^T。

（3）该步优先更新x_3：

x₃计算出的值也为0，则网络状态同样不发生改变。

，网络状态（0 0 0 )^T。

说明有2/3的几率会保持在000本身。

第一步因为更新次序不同，会导致不同的网络状态，其中两次被导向（0 0 0）^T，一次被导向（1 0 0）^T，如图所示。

至此上章演近路径中的演近机会或演近概率是如何计算，到此介绍完毕。

 

2. 第二步：网络状态为（1 0 0 ）^T

共有2³=8种网络状态，所以要挨个遍历，得到每个网络状态最终演近的状态。接下来开始网络状态为（1 0 0 ）^T的更新过程。

（1）如果优先更新x₁:

，得到x₁更新结果为1未发生变化。此时网络状态为（1 0 0）^T

（2）如果该步优先更新x₂：

，此时网路状态为（1 0 0）^T。优先更新X1，和优先更新x2的值都是（1 0 0）^T没有发生改变。

（3）如果该步优先更新x₃：

，x3为1，发生改变。此时网络状态为（1 0 1）^T。

第二步因为更新次序不同，会导致不同的网络状态，其中两次被导向（1 0 0）^T，一次被导向（1 0 0）^T，如图所示：100有2/3的机会保持自身状态不变，1/3的机会进入下一个状态，实际上由000开始演近到100状态时，每一个演近的百分比或是概率都可以计算。

3.第三步：网络状态为（1 0 1）^T

（1）如果优先更新x₁:

，得到x₁更新结果为1网络状态未发生变化，此时网络状态为（1 0 1）^T。

（2）如果该步优先更新x₂： 此时网路状态为（1 1  1）^T。

（3）如果该步优先更新x₃： 此时网络状态为（1 0 1）^T。

第三步因为更新次序不同，会导致不同的网络状态，其中两次被导向（1 0 1）^T，一次被导向（1 1 1）^T，如图所示：101有2/3的几率保持不变，而1/3的几率演近成111。

4.第四步：网络状态为（1 1 1）^T

（1）如果优先更新x₁:

状态发生变化，x₁更新结果为0，此时此时网路状态由（1 1 1）^T变为网络状态为（0 1 1）^T。

（2）如果该步优先更新x₂：

网络状态为（1 1 1）^T。

（3）如果该步优先更新x₃：

，更新后网络状态也为发生改变，此时网络状态为（1 0 1）^T。

第四步因为更新次序不同，会导致不同的网络状态，其中两次被导向（1 1 1）^T，一次被导向（0 1 1）^T，如图所示：111有2/3的几率保持自身不变，而1/3的几率进入下一状态演近成011。

5.第五步：网络状态为（0 1 1）^T

（1）如果优先更新x₁:

，原生状态为0，x₁更新状态也为0不变，网络状态为（0 1 1）^T。

（2）如果该步优先更新x₂：

，网络状态为（0 1 1）^T不变。

（3）如果该步优先更新x₃：

，此时网络状态为（0 1 1）^T也不变。

第五步不同的更新次序都会导向同样的网络状态（0 1 1）^T，即本次输出模式会收敛于这个网络状态，如图所示：011稳定在本身状态，说明011为稳定态，因为三种更新的次序都会回到它本身。

6. 总结

首先计算初始状态000的演近路径会从000变为100变为101再变为111，最终演近到011稳定态。之后观察每个状态下如果先更新x₁/x₂/x₃有多大机会完成演近，得到有2/3的几率保持本身，1/3几率进入下一状态。最终得出该演近图：不同的演近顺序导致的结果，该图可表示初始状态为000怎么演近为011的全部演近过程。

（1）000初始状态

蓝框表示初始状态，红背景框表示稳定态。

（2）001初始状态

状态为011时较为复杂，有1/3可能变为000，1/3可能变为101，1/3可能变为011，其中011为稳定态继续计算。变为000后再依次演近为100->101->111，最终变为011稳定态。变为101后，2/3概率保持本身不变，1/3变为111,而111也有2/3概率停留本身，1/3变为011稳定态。最终由图可知：当初始状态为001时，都会收敛到011状态。

（3）010初始状态

010初始状态时，有1/3概率停留本身，1/3变为000后依次演近为100->101->111,最后011稳定态，1/3直接变为稳定态011。因而：对010初始状态而言，最终也收敛到011稳定态。

（4）011初始状态

011初始状态本身就是收敛的，百分之百保持本身状态。

（5）100初始状态

100初始状态，2/3概率不变，1/3概率演近成101，101也2/3概率不变，1/3概率演近111，最后111有2/3概率不变，1/3概率演近011稳定态。因而：对于011初始状态而言，最终也会收敛到011稳定态。

（6）101初始状态

初始状态为101，2/3概率不变，1/3概率演近成111，而111也2/3概率不变，1/3概率演近011稳定态。因而：对于101初始状态而言，最终也会收敛到011稳定态。

（7）110初始状态

之前已经讲述6种，第七种初始状态为110较为复杂。有1/3可能变为111，再由111到011。也有1/3可能变为100，100->101->111->011最后也演近为011。最后1/3可能变为010，010在之前已作讨论，它有1/3概率保持不变，另外1/3概率变为000,再由000->100->101->111->011，最终也变为011稳定态，而最后1/3概率直接变为011稳定态。

因而：初始状态110的两条路径最终都收敛到011稳定态。

（8）111初始状态

最后一种初始状态111，其有2/3可能不变，1/3可能变为011稳定态。

三节点的DHNN网络输入状态实际上有23=8种，因其取值是离散的Hopfield，所以网络各节点取值为0或1，所以以2为底，因其3个节点，所以3次方，共8种状态：000 001 010 011 100 101 110 111。对其都进行完整分析后发现八种状态最后都会稳定收敛到稳定态011。

完整过程如下图，图中记录了全部的演近过程，如初始状态为101时，有2/3可能不变，111也有1/3可能收敛至011，其中任一状态最后都收敛至011，因为011为稳定态，其百分之百收敛于自身。其他状态都不同，如110状态，就含3条分支，1/3通过101分支演近到011稳定态；1/3通过100分支演近到011稳定态；1/3通过111分支演近到011稳定态。