GeneralDyG:南洋理工推出通用动态图异常检测方法,支持社交网络、电商和网络安全

本文涉及的产品
图像搜索,7款服务类型 1个月
简介: GeneralDyG 是南洋理工大学推出的通用动态图异常检测方法,通过时间 ego-graph 采样、图神经网络和时间感知 Transformer 模块,有效应对数据多样性、动态特征捕捉和计算成本高等挑战。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新应用和热点信息,提供开源实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 功能:GeneralDyG 是一种通用动态图异常检测方法,适用于社交网络、电商和网络安全等领域。
  2. 技术:通过时间 ego-graph 采样、图神经网络和时间感知 Transformer 模块,捕捉动态图中的多尺度动态模式。
  3. 性能:在多个真实数据集上的实验结果显示,GeneralDyG 性能显著优于现有主流方法。

正文(附运行示例)

GeneralDyG 是什么

公众号: 蚝油菜花 - GeneralDyG

GeneralDyG 是南洋理工大学研究团队提出的通用动态图异常检测方法,旨在解决动态图数据在社交网络、电商和网络安全等领域的异常检测问题。通过时间 ego-graph 采样模块、图神经网络提取模块和时间感知 Transformer 模块,有效应对数据分布多样性、动态特征捕捉困难和计算成本高等挑战。

GeneralDyG 在多个真实数据集上的实验结果显示,性能显著优于现有的多种主流方法,展现了卓越的通用性和检测能力。

GeneralDyG 的主要功能

  • 数据分布多样性适应:通过提取节点、边及其拓扑结构的关键信息,GeneralDyG 能够适应不同数据集的复杂特征分布。
  • 动态特征捕捉:该方法结合全局时间动态和局部结构变化,深入建模动态图中的多尺度动态模式。
  • 高效计算框架:构建了轻量化框架,能够高效捕获关键动态特征,显著提升计算效率。
  • 时间 ego-graph 采样:通过构建紧凑的子图结构,有效应对大规模动态图数据带来的计算压力。
  • 结构与时间特征融合:利用时间感知 Transformer 模块整合时间序列和结构特征,确保异常检测的准确性。

GeneralDyG 的技术原理

  • 时间 ego-graph 采样模块:该模块通过构建紧凑的子图结构来有效应对大规模动态图数据带来的计算压力。基于中心事件,通过 k-hop 算法提取其周围交互历史,构成时间 ego-graph。k-hop 算法考虑了事件间的时间顺序与拓扑关系,确保采样过程兼顾时间动态与结构特性。
  • 图神经网络提取模块:在时间 ego-graph 的基础上,设计了一种新的图神经网络(TensGNN)来提取丰富的结构信息。TensGNN 通过交替应用节点层和边层来实现特征信息的传播与更新,从而在节点特征和边特征之间构建强关联。
  • 时间感知 Transformer 模块:模块整合时间序列和结构特征,在自注意力机制中,模型分别基于 Query 和 Key 编码图的拓扑结构信息,将 Value 保留为原始事件特征,确保异常检测的准确性。

如何运行 GeneralDyG

1. 环境配置

首先,确保安装了以下依赖库:

pip install h5py imbalanced-learn matplotlib networkx numpy pandas scikit-learn scipy torch torch-geometric torch-scatter torch-sparse tqdm

2. 数据预处理

下载并解压预处理数据集:

python generate_datasets.py

generate_datasets.py 中,可以调整参数 kdataset_name 来生成不同版本的预处理数据。

3. 开始训练

完成数据预处理后,运行以下命令开始训练:

python Denoise.py --data_set btc_alpha --neg 01 --max_len 24

可以根据需要调整训练参数,如 batch_sizen_epochs 等。

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新应用和热点信息,提供开源实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
28天前
|
机器学习/深度学习 数据采集 人工智能
基于Huffman树的层次化Softmax:面向大规模神经网络的高效概率计算方法
层次化Softmax算法通过引入Huffman树结构,将传统Softmax的计算复杂度从线性降至对数级别,显著提升了大规模词汇表的训练效率。该算法不仅优化了计算效率,还在处理大规模离散分布问题上提供了新的思路。文章详细介绍了Huffman树的构建、节点编码、概率计算及基于Gensim的实现方法,并讨论了工程实现中的优化策略与应用实践。
68 15
基于Huffman树的层次化Softmax:面向大规模神经网络的高效概率计算方法
|
20天前
|
域名解析 缓存 网络协议
优化Lua-cURL:减少网络请求延迟的实用方法
优化Lua-cURL:减少网络请求延迟的实用方法
|
1月前
|
存储 SQL 安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将介绍网络安全的重要性,分析常见的网络安全漏洞及其危害,探讨加密技术在保障网络安全中的作用,并强调提高安全意识的必要性。通过本文的学习,读者将了解网络安全的基本概念和应对策略,提升个人和组织的网络安全防护能力。
|
1月前
|
SQL 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将从网络安全漏洞、加密技术和安全意识三个方面进行探讨,旨在提高读者对网络安全的认识和防范能力。通过分析常见的网络安全漏洞,介绍加密技术的基本原理和应用,以及强调安全意识的重要性,帮助读者更好地保护自己的网络信息安全。
49 10
|
1月前
|
SQL 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在数字化时代,网络安全和信息安全已成为我们生活中不可或缺的一部分。本文将介绍网络安全漏洞、加密技术和安全意识等方面的内容,并提供一些实用的代码示例。通过阅读本文,您将了解到如何保护自己的网络安全,以及如何提高自己的信息安全意识。
61 10
|
1月前
|
存储 监控 安全
云计算与网络安全:云服务、网络安全、信息安全等技术领域的融合与挑战
本文将探讨云计算与网络安全之间的关系,以及它们在云服务、网络安全和信息安全等技术领域中的融合与挑战。我们将分析云计算的优势和风险,以及如何通过网络安全措施来保护数据和应用程序。我们还将讨论如何确保云服务的可用性和可靠性,以及如何处理网络攻击和数据泄露等问题。最后,我们将提供一些关于如何在云计算环境中实现网络安全的建议和最佳实践。
|
1月前
|
安全 网络安全 数据安全/隐私保护
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在数字化时代,网络安全和信息安全已成为我们日常生活中不可或缺的一部分。本文将深入探讨网络安全漏洞、加密技术和安全意识等方面的问题,并提供一些实用的建议和解决方案。我们将通过分析网络攻击的常见形式,揭示网络安全的脆弱性,并介绍如何利用加密技术来保护数据。此外,我们还将强调提高个人和企业的安全意识的重要性,以应对日益复杂的网络威胁。无论你是普通用户还是IT专业人士,这篇文章都将为你提供有价值的见解和指导。
|
1月前
|
存储 安全 网络安全
云计算与网络安全:云服务、网络安全、信息安全等技术领域的融合与挑战
随着云计算技术的飞速发展,越来越多的企业和个人开始使用云服务。然而,云计算的广泛应用也带来了一系列网络安全问题。本文将从云服务、网络安全、信息安全等方面探讨云计算与网络安全的关系,分析当前面临的挑战,并提出相应的解决方案。
65 3
|
2月前
|
存储 安全 网络安全
云计算与网络安全:探索云服务、网络安全和信息安全的交汇点
在数字化时代,云计算已成为企业和个人存储、处理数据的关键技术。然而,随着云服务的普及,网络安全问题也日益凸显。本文将深入探讨云计算与网络安全的关系,分析云服务中的安全挑战,并提出相应的解决方案。同时,我们还将介绍一些实用的代码示例,帮助读者更好地理解和应对网络安全问题。
|
1月前
|
存储 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在数字化时代,网络安全和信息安全已经成为了我们生活中不可或缺的一部分。本文将介绍网络安全的基本概念,包括网络安全漏洞、加密技术以及如何提高个人和组织的安全意识。我们将通过一些实际案例来说明这些概念的重要性,并提供一些实用的建议来保护你的信息和数据。无论你是网络管理员还是普通用户,都可以从中获得有用的信息和技能。
26 0

热门文章

最新文章