❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新应用和热点信息,提供开源实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!
🥦 微信公众号|搜一搜:蚝油菜花 🥦
🚀 快速阅读
- 功能:GeneralDyG 是一种通用动态图异常检测方法,适用于社交网络、电商和网络安全等领域。
- 技术:通过时间 ego-graph 采样、图神经网络和时间感知 Transformer 模块,捕捉动态图中的多尺度动态模式。
- 性能:在多个真实数据集上的实验结果显示,GeneralDyG 性能显著优于现有主流方法。
正文(附运行示例)
GeneralDyG 是什么
GeneralDyG 是南洋理工大学研究团队提出的通用动态图异常检测方法,旨在解决动态图数据在社交网络、电商和网络安全等领域的异常检测问题。通过时间 ego-graph 采样模块、图神经网络提取模块和时间感知 Transformer 模块,有效应对数据分布多样性、动态特征捕捉困难和计算成本高等挑战。
GeneralDyG 在多个真实数据集上的实验结果显示,性能显著优于现有的多种主流方法,展现了卓越的通用性和检测能力。
GeneralDyG 的主要功能
- 数据分布多样性适应:通过提取节点、边及其拓扑结构的关键信息,GeneralDyG 能够适应不同数据集的复杂特征分布。
- 动态特征捕捉:该方法结合全局时间动态和局部结构变化,深入建模动态图中的多尺度动态模式。
- 高效计算框架:构建了轻量化框架,能够高效捕获关键动态特征,显著提升计算效率。
- 时间 ego-graph 采样:通过构建紧凑的子图结构,有效应对大规模动态图数据带来的计算压力。
- 结构与时间特征融合:利用时间感知 Transformer 模块整合时间序列和结构特征,确保异常检测的准确性。
GeneralDyG 的技术原理
- 时间 ego-graph 采样模块:该模块通过构建紧凑的子图结构来有效应对大规模动态图数据带来的计算压力。基于中心事件,通过 k-hop 算法提取其周围交互历史,构成时间 ego-graph。k-hop 算法考虑了事件间的时间顺序与拓扑关系,确保采样过程兼顾时间动态与结构特性。
- 图神经网络提取模块:在时间 ego-graph 的基础上,设计了一种新的图神经网络(TensGNN)来提取丰富的结构信息。TensGNN 通过交替应用节点层和边层来实现特征信息的传播与更新,从而在节点特征和边特征之间构建强关联。
- 时间感知 Transformer 模块:模块整合时间序列和结构特征,在自注意力机制中,模型分别基于 Query 和 Key 编码图的拓扑结构信息,将 Value 保留为原始事件特征,确保异常检测的准确性。
如何运行 GeneralDyG
1. 环境配置
首先,确保安装了以下依赖库:
pip install h5py imbalanced-learn matplotlib networkx numpy pandas scikit-learn scipy torch torch-geometric torch-scatter torch-sparse tqdm
2. 数据预处理
下载并解压预处理数据集:
python generate_datasets.py
在 generate_datasets.py
中,可以调整参数 k
和 dataset_name
来生成不同版本的预处理数据。
3. 开始训练
完成数据预处理后,运行以下命令开始训练:
python Denoise.py --data_set btc_alpha --neg 01 --max_len 24
可以根据需要调整训练参数,如 batch_size
、n_epochs
等。
资源
- GitHub 仓库:https://github.com/YXNTU/GeneralDyG
- arXiv 技术论文:https://arxiv.org/pdf/2412.16447
❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新应用和热点信息,提供开源实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!
🥦 微信公众号|搜一搜:蚝油菜花 🥦