【High 翻天】Higer-order Networks with Battiston Federico (5)

简介: 在给出建模之后,接下来讨论如何将传统意义下的扩散拓展到高阶系统。扩散是一个线性过程,但在许多不同的情况下都有强相关性。

在给出建模之后,接下来讨论如何将传统意义下的扩散拓展到高阶系统。扩散是一个线性过程,但在许多不同的情况下都有强相关性。扩散这个词实际可指代两个不同的过程:

  1. 标准的扩散过程,或者也称为流体模型;
  2. 连续时间的随机游走。

在网络上的标准扩散中,一种“物质”被分配到图节点上,并从含量较高的节点流向含量较低的节点。这一过程本质上实现了各节点均衡的再分配,有时候也被称为 consensus。从数学的角度可以线性微分方程来表示:$$\dot{x}_{i}(t) = \sum_{j} a_{i j} (x_{j}(t) - x_{i}(t)) = \sum_{j} (L_{0}^{D})_{i j} x_{i}(t).$$ 此处,${x}_{i}(t)$ 代表第 $i$ 个顶点在时刻 $t$ 的浓度,$a_{i j}$ 是网络对应的邻接矩阵,$(L_{0}^{D})_{i j}$ 则是扩散拉普拉斯矩阵。事实上,这种平衡的稳定性是由拉普拉斯矩阵的谱性质决定的。上式的解可以通过投影到拉普拉斯特征向量来表示:$$x_{i}(t) = \sum_{\alpha = 1}^{N} c_{\alpha}(0) e^{- \lambda_{\alpha} t} \phi_{i}^{(\alpha)}.$$ 并可知解的收敛性与拉普拉斯矩阵的最小非零特征相关。与扩散相同,随机游走过程的特征是一个平稳分布,其中每个方向上的概率流彼此相等,并达到平衡。或可建模为随机微分方程。

高阶扩散

不同类型的扩散,取决于定义扩散的单纯形的维数。其思想是用 $x_{\sigma}(t)$ 表示时间 $t$ 时 $k$ 阶一般单纯形 $\sigma$ 处的浓度,并考虑如下耦合动力学方程:$$\dot{x}_{\sigma}(t) = \sum_{\sigma^{\prime} \in X_{k}} (L_{k}^{D})_{\sigma \sigma^{\prime}} x_{\sigma^{\prime}}(t).$$ 其对应的解为1:$$x_{\sigma}(t) = \sum_{\alpha = 1}^{N_{k}} e^{- \lambda_{\alpha} t} \phi_{\sigma}^{(\alpha)} \sum_{\sigma^{\prime} \in X_{k}} \phi_{\sigma^{\prime}}^{(\alpha)} x_{\sigma^{\prime}}(0).$$

题外话

在读这一部分的时候,忽然意识到现在大火的 diffusion models

记录几篇入门文献:

  • Understanding diffusion models: A unified prespective
  • What are diffusion models?
  • Genenrative modeling by estimating gradients of the data distribution

高阶随机游走

这部分在文中进行了文献罗列。

Example of random walk on hypergraphs. (A) A hypergraph with m = 7 hyperedges of size k = 2 and one hyperedge of size k = 6, and (B) its corresponding projected network. (C) Probability of finding the walker on node h (circles) and c (squares) for a random walk on the hypergraph (red) and on the projected network (green), and for different size m of the hub. 在这里插入图片描述

  1. J.J. Torres, G. Bianconi, Simplicial complexes: Higher-order spectral dimension and dynamics, J. Phys.: Complex. 1 (2020) 015002.
相关文章
|
5月前
|
移动开发 算法 数据挖掘
【博士每天一篇文献-算法】Extending stability through hierarchical clusters in Echo State Networks
本文研究了在回声状态网络(ESN)中引入分层聚类结构对网络稳定性的影响,发现通过调整簇内和簇间的连接性及每个簇的主干单元数量,可以扩展谱半径的稳定范围,从而提高网络的稳定性和性能。
46 2
|
5月前
|
存储 机器学习/深度学习 算法
【博士每天一篇文献-算法】A biologically inspired dual-network memory model for reduction of catastrophic
本文介绍了一种受生物学启发的双网络记忆模型,由海马网络和新皮层网络组成,通过模拟海马CA3区的混沌行为和齿状回区的神经元更替,以及新皮层网络中的伪模式学习,有效减少了神经网络在学习新任务时的灾难性遗忘问题。
42 4
|
5月前
|
机器学习/深度学习 算法 数据挖掘
【博士每天一篇文献-模型】Investigating Echo State Network Performance with Biologically-Inspired Hierarchical
本文研究了一种受果蝇生物启发的分层网络结构在回声状态网络(ESN)中的应用,通过引入层次随机块模型(HSBM)来生成具有更好结构性的网络拓扑,发现这种新拓扑结构的网络在Mackey-Glass系统预测和MNIST分类任务中表现出改善的整体解分布,从而提高了ESN的性能。
35 2
|
5月前
|
机器学习/深度学习 存储 算法
【博士每天一篇论文-算法】Optimal modularity and memory capacity of neural reservoirs
本文研究了神经网络的模块化与记忆性能之间的关系,发现存在一个最佳模块化程度,能够在局部凝聚性和全局连接性之间实现平衡,从而显著提高神经网络的预测性能和记忆能力,并为设计神经网络和理解大脑的模块化组织提供了新的见解。
38 0
【博士每天一篇论文-算法】Optimal modularity and memory capacity of neural reservoirs
带你读《2022技术人的百宝黑皮书》——AdaInt: Learning Adaptive Intervals for 3D Lookup Tables on Real-time Image Enhancement(1)
带你读《2022技术人的百宝黑皮书》——AdaInt: Learning Adaptive Intervals for 3D Lookup Tables on Real-time Image Enhancement(1)
带你读《2022技术人的百宝黑皮书》——AdaInt: Learning Adaptive Intervals for 3D Lookup Tables on Real-time Image Enhancement(5)
带你读《2022技术人的百宝黑皮书》——AdaInt: Learning Adaptive Intervals for 3D Lookup Tables on Real-time Image Enhancement(5)
带你读《2022技术人的百宝黑皮书》——AdaInt: Learning Adaptive Intervals for 3D Lookup Tables on Real-time Image Enhancement(2)
带你读《2022技术人的百宝黑皮书》——AdaInt: Learning Adaptive Intervals for 3D Lookup Tables on Real-time Image Enhancement(2)
【High 翻天】Higer-order Networks with Battiston Federico (8)
在本节将讨论一些观点和文化动力学模型,它们基于物理和数学文献启发、用简单规则来描述社会动态。
135 0
【High 翻天】Higer-order Networks with Battiston Federico (8)
【High 翻天】Higer-order Networks with Battiston Federico (7)
模拟人类行为的动态过程一直是许多研究的焦点,其中社会关系和交互通常被认为是一种潜在结构,是高阶方法的天然试验场。
101 0
【High 翻天】Higer-order Networks with Battiston Federico (7)
|
机器学习/深度学习
【High 翻天】Higer-order Networks with Battiston Federico (4)
模型的目的是再现、解释和预测系统的结构,最好用涉及系统两个或多个元素的交互来描述。为了考虑其输出的可变性,这些模型通常被指定为随机规则的集合,即随机过程。
【High 翻天】Higer-order Networks with Battiston Federico (4)