ICML 2022 | 基于结构化数据的异常检测再思考: 我们究竟需要怎样的图神经网络?

简介: ICML 2022 | 基于结构化数据的异常检测再思考: 我们究竟需要怎样的图神经网络?
图神经网络(GNN)被广泛应用于结构化数据的异常检测,例如社交网络恶意账号检测、金融交易欺诈检测等。香港科技大学和斯坦福大学的研究者首次从谱域的角度(即图拉普拉斯矩阵的谱分解)分析了异常数据可能造成的影响。核心发现是:异常数据将导致频谱能量出现 “右移” 现象,即频谱能量分布从低频向高频移动。基于这一发现,他们又提出了 Beta 小波图神经网络(BWGNN)。它拥有多个具有局部性的带通滤波器,能够更好捕获 “右移” 产生的高频异常信息。在四个大规模图异常检测数据集上,BWGNN 的性能均优于现有的模型。





面向结构化图数据的异常检测:背景与挑战

异常检测是数据挖掘的经典任务之一。分析异常数据有助于企业或用户理解其背后的形成机制,从而做出相应决策,避免损失。随着网络发展,面向结构化数据的异常检测,即图异常检测,受到越来越多关注。

图异常检测具体可定义为:寻找图上的少部分对象(节点、边、子图等),它们与其余大多数对象有着不同分布规律。本文专注于图上异常节点的检测任务。相较于传统的异常检测方法,图异常检测能够利用不同实体之间的关联信息,更好服务于网络安全、欺诈检测、水军检测、金融风控、故障监测等实际场景。

下图直观对比了传统异常检测与面向图的异常检测任务之间的区别。

图 1:传统异常检测与面向图的异常检测任务对比。

近年来,图神经网络成为分析处理结构化数据的一大利器。图神经网络通过学习包含节点自身特征和邻居信息的嵌入表示,来更好完成分类、重建、回归等下游任务。

然而,通用的图神经网络(如图卷积网络等)主要针对正常数据设计,在异常检测任务上容易遇到 “过平滑”(over-smoothing) 问题,即异常节点和正常节点的表达难以区分,影响异常检测的准确率。例如,在金融欺诈检测的实际应用中,异常账户通常会先与多个正常账户进行正常交易来伪装自己,降低自身可疑程度,之后再展开违规交易。这种 “关系欺诈” 进一步增加了图异常检测的难度。

为了解决上述困难,研究者专门提出针对异常检测任务的图神经网络模型,包括(1)利用注意力机制从多个视图聚合邻域信息;(2)利用重采样方法聚合不同类别的邻域信息;(3)设计额外的损失函数来辅助图神经网络的训练等。这些方法主要从空域的角度设计图神经网络来处理异常,但并没有人从谱域的角度考虑过该问题。

事实证明,选择不同的频谱滤波器(spectral filter)会影响图神经网络的表达能力,从而造成性能上的差异。

另辟蹊径:谱域视角下的图异常检测

为了填补现有研究的空白,本文希望回答这样一个问题:如何为图神经网络量身定做一个频谱滤波器用于异常检测?

本文首次尝试了从谱域视角分析图上的异常数据,并观察到:异常数据会导致频谱能量的 “右移”,即能量更少集中在低频,同时更多集中在高频。
为了可视化这种右移现象,研究者首先随机生成了一个有 500 个节点的 Barabási–Albert 图(BA 图),并假设图上正常节点和异常节点的属性分别遵循两个不同的高斯分布,其中异常节点的方差更大。

图片的上半部分展示了包含不同程度异常的数据在 BA 图上的分布,而下半部分展示了对应的频谱能量分布。其中,柱状图代表对应频谱区间的能量占比,折线图代表从零到该点频域能量的累积占比。
图 2:频谱能量 “右移” 现象的可视化。

从上图可以看出,当异常数据占比为 0% 时,大部分能量集中在低频部分(λ<0.5)。通过增大异常节点相对于正常节点的方差 σ 或比例 α,数据的异常程度逐渐增大,频谱上低频部分的能量逐渐变少,高频部分则相应增加。基于高斯分布假设,本文从理论上严格证明了数据异常程度的增大和频谱能量的 “右移” 之间存在单调关系

在实际场景中,异常数据通常遵循更加复杂的分布。在四个大规模图异常检测数据集上,研究者同样证实了 “右移” 现象的存在。以下图亚马逊异常用户检测数据集为例,当删除数据中一部分异常节点后,频谱上低频能量显著增多,同时高频则相应减少。如果删除同样数量的随机节点,频谱的能量分布几乎没有变化。这进一步验证了异常数据是频谱能量 “右移” 的关键。
图 3 : 亚马逊异常用户检测数据集上删除不同节点对频谱能量分布的影响:原图 (The Original),删除随机节点 (Drop-Random),删除异常节点 (Drop-Anomaly)

图异常检测的新利器:Beta 小波图神经网络

上节的分析表明,在图异常检测时需要关注 “右移” 效应。例如上图亚马逊数据集中,特征值 λ=1 附近的频谱信息与异常数据有较大关联。为了更好地捕获异常信息,图神经网络需要具备带通滤波器的性质,只保留 λ=1 附近的信号同时过滤其余信号。

遗憾的是,现有的图神经网络大多属于低通滤波器或者自适应滤波器,它们无法保证带通性质。其中自适应滤波器虽然具有拟合任意函数的能力,但在异常检测中同样可能退化为低通滤波器。这是因为在整个数据集中,异常数据对应的高频信息占比较小,而大部分频谱能量仍然集中在低频。

为了更好处理异常数据造成的 “右移”,研究者提出了一种图异常检测的新方法 ——Beta 小波图神经网络 (BWGNN)。通过借鉴 Hammond 图小波理论,他们基于 Beta 函数设计了新的小波核作为图神经网络的频谱滤波器。

相比于常用的热核 (Heat Kernel) 函数,Beta 函数作为小波核不仅符合带通滤波器的要求,还具有更好的频域局部性与空域局部性。下图对比了热核小波与 Beta 核小波的区别。

图 4:热核小波与 Beta 核小波在谱域(左)和空域(右)上的对比,Beta 函数具有更好的带通与局部性质。

本文在四个大规模图异常检测数据集上验证了 BWGNN 的性能。其中,Yelp 数据集面向点评网站异常评论检测,Amazon 数据集面向电商平台异常用户检测,T-Finance 数据集面向交易网络异常用户检测,T-Social 数据集面向社交网络异常用户检测,包含多达五百万个节点和七千万条边。

从下表可以看出,与传统分类模型、通用图神经网络和专门的图异常检测模型相比,BWGNN 在 40% 训练数据和 1% 训练数据(半监督)两个场景下均取得更好的效果。在运行效率上,BWGNN 与大部分通用图神经网络耗时接近,比其余图异常检测模型更高效。

总结

本文中,研究者发现图上异常节点的出现会导致频谱能量 “右移”,为面向结构化数据的异常检测提供了一种新视角。基于该发现,本文提出了图异常检测的新工具 ——Beta 小波图神经网络 (BWGNN)。它通过专门设计的带通滤波器来捕获 “右移” 产生的高频异常信息,在多个数据集上取得了最优效果。

在实际落地中,图异常检测通常是一个复杂的系统工程,但选择合适的图神经网络是影响系统性能的一个关键因素。研究者提出的 BWGNN 设计精简、复杂度低、易于替换,是图神经网络的一项新选择。

相关文章
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习的魔法:如何用神经网络解锁数据的奥秘
在人工智能的璀璨星空中,深度学习犹如一颗最亮的星,它以其强大的数据处理能力,改变了我们对世界的认知方式。本文将深入浅出地介绍深度学习的核心概念、工作原理及其在不同领域的应用实例,让读者能够理解并欣赏到深度学习技术背后的奇妙和强大之处。
45 3
|
3月前
|
机器学习/深度学习 传感器 自然语言处理
深度学习的魔法:如何用神经网络解锁数据的秘密
在这个数字信息爆炸的时代,深度学习技术如同一把钥匙,揭开了数据隐藏的层层秘密。本文将深入浅出地探讨深度学习的核心概念、关键技术和实际应用,带领读者领略这一领域的奥秘与魅力。通过生动的比喻和直观的解释,我们将一起走进神经网络的世界,看看这些由数据驱动的“大脑”是如何学习和成长的。无论你是科技爱好者还是行业新手,这篇文章都将为你打开一扇通往未来的大门。
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习与神经网络:探索复杂数据的表示
【9月更文挑战第26天】深度学习作为人工智能领域的明珠,通过神经网络自动从大数据中提取高级特征,实现分类、回归等任务。本文介绍深度学习的基础、张量表示、非线性变换、反向传播及梯度下降算法,并探讨其在计算机视觉、自然语言处理等领域的应用与挑战。未来,深度学习将更加智能化,揭示数据背后的奥秘。
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
Transformer 能代替图神经网络吗?
Transformer模型的革新性在于其自注意力机制,广泛应用于多种任务,包括非原始设计领域。近期研究专注于Transformer的推理能力,特别是在图神经网络(GNN)上下文中。
86 5
|
4月前
|
机器学习/深度学习 搜索推荐 知识图谱
图神经网络加持,突破传统推荐系统局限!北大港大联合提出SelfGNN:有效降低信息过载与数据噪声影响
【7月更文挑战第22天】北大港大联手打造SelfGNN,一种结合图神经网络与自监督学习的推荐系统,专攻信息过载及数据噪声难题。SelfGNN通过短期图捕获实时用户兴趣,利用自增强学习提升模型鲁棒性,实现多时间尺度动态行为建模,大幅优化推荐准确度与时效性。经四大真实数据集测试,SelfGNN在准确性和抗噪能力上超越现有模型。尽管如此,高计算复杂度及对图构建质量的依赖仍是待克服挑战。[详细论文](https://arxiv.org/abs/2405.20878)。
78 5
|
4月前
|
机器学习/深度学习 PyTorch 算法框架/工具
图神经网络是一类用于处理图结构数据的神经网络。与传统的深度学习模型(如卷积神经网络CNN和循环神经网络RNN)不同,
图神经网络是一类用于处理图结构数据的神经网络。与传统的深度学习模型(如卷积神经网络CNN和循环神经网络RNN)不同,
|
4月前
|
机器学习/深度学习 边缘计算 量子技术
ICML 2024:信号表征指数级强、内存节省超35%,量子隐式表征网络来了
【7月更文挑战第6天】QIREN,量子隐式表征网络,借助量子计算增强信号处理能力,内存效率提升35%以上。该技术旨在改进高频信号建模,提升图像和音频处理任务的性能,同时在资源受限环境下减少内存需求。尽管面临量子技术成熟度和训练复杂性的挑战,QIREN为机器学习开辟了新途径。[论文链接: https://arxiv.org/abs/2406.03873]**
65 3
|
4月前
|
机器学习/深度学习 编解码 数据可视化
图神经网络版本的Kolmogorov Arnold(KAN)代码实现和效果对比
目前我们看到有很多使用KAN替代MLP的实验,但是目前来说对于图神经网络来说还没有类似的实验,今天我们就来使用KAN创建一个图神经网络Graph Kolmogorov Arnold(GKAN),来测试下KAN是否可以在图神经网络方面有所作为。
180 0
|
5月前
|
机器学习/深度学习 数据采集 TensorFlow
使用Python实现深度学习模型:图神经网络(GNN)
使用Python实现深度学习模型:图神经网络(GNN)
246 1
|
6月前
|
机器学习/深度学习 自然语言处理 搜索推荐
【传知代码】图神经网络长对话理解-论文复现
在ACL2023会议上发表的论文《使用带有辅助跨模态交互的关系时态图神经网络进行对话理解》提出了一种新方法,名为correct,用于多模态情感识别。correct框架通过全局和局部上下文信息捕捉对话情感,同时有效处理跨模态交互和时间依赖。模型利用图神经网络结构,通过构建图来表示对话中的交互和时间关系,提高了情感预测的准确性。在IEMOCAP和CMU-MOSEI数据集上的实验结果证明了correct的有效性。源码和更多细节可在文章链接提供的附件中获取。
【传知代码】图神经网络长对话理解-论文复现