Re3:读论文 PGE A Representation Learning Framework for Property Graphs

简介: Re3:读论文 PGE A Representation Learning Framework for Property Graphs

1. 模型构造思路


本文提出了一个新的MP系GNN模型PGE,结合了拓扑结构和图在节点和边上的属性信息,在聚合邻居信息时是有偏的、根据邻居节点和边对中心节点的相似程度来进行聚合的。

感觉就是一个常见的那个年代(喂GNN的发展已经快到2019年的论文算是古董了)的GNN模型。


标题中所谓property graph就是有属性的图,属性可以在节点或边上。


2. Notation与模型介绍


2.1 Notation

略,待续。


2.2 节点相似性和节点嵌入

image.png


2.3 PGE模型步骤

大致流程为:


①property-based node clustering

仅基于属性对节点进行聚类,将节点聚成k类。(可以使用K均值、DBSCAN之类的标准聚类方法)

这样对每个节点来说,都能得到与之在属性上相似与不相似的邻居节点(拓扑上的相似性用邻居信息衡量)。


②biased neighborhood sampling

biased是本文相比于GraphSAGE方法的创新部分。

对每个节点,我们对其相似节点(即在①中属于同一类)的节点置bias b s(1),对不相似节点置bias b d(这个bias的有效性在section4部分解释,具体的取值好像是做实验调出来的),将所有邻居的bias归一化后从中抽样出固定数量的邻居,得到sampled graph G S


③neighborhood aggregation

2层GNN:

image.png

p v 是原始特征向量,A ( ⋅ )  是concatenate operation


2.4 PGE模型对有向边关系的支持

image.png

具体见论文3.3部分,略待补。


2.5 PGE模型算法

image.png

就按着步骤走,还挺清晰的。


2.6 bias部分的有效性证明

没看,待补。


3. 详细的数学推导和证明


没看,待补。


4. 实验结果


4.1 baseline

本文将baseline分成三类:

random walk based on skipgram – DeepWalk and node2vec

graph convolutional networks – GCN

neighbor aggregation based on weight matrices – GraphSAGE


4.2 数据集

略,待补。


4.3 实验设置

略,待补。


4.4 实验结果

4.4.1 节点分类任务

image.png

具体略,待补。


4.4.2 链接预测任务

image.png

没看到有说表示向量多少维?

损失函数应该是 cross entropy loss with negative sampling(在论文3.2.3部分提及)。

具体略,待补。


4.4.3 参数敏感性检验

4.4.3.1 epoch

image.png

具体略,待补。


4.3.3.2 Biases and Cluster Number

固定 b s ,调整 b d ;用K均值聚类以方便调整cluster number

image.png

最终结论是选择较小的K(接近平均度数)和较大的 b d  对实验比较合适。

具体略,待补。


5. 代码实现和复现


5.1 论文官方实现

TensorFlow……

yue!

就浏览了一下,还没看,待补。我看这意思是很多代码是参考GraphSAGE的,那篇的代码我也没看。而且我看了一下issue没人回答,作者不知是转行了还是咋,感觉不维护了,提问可能也没人回。所以大概就不看了。如果有需要再说。


5.2 PyG官方实现

没有。


5.3 我自己写的复现

没写。


相关文章
|
3月前
|
存储 算法 计算机视觉
【博士每天一篇文献-模型】Meta-Learning Based Tasks Similarity Representation for Cross Domain Lifelong Learning
本文提出了一种基于元学习的跨域终身学习框架,通过跨域三元组网络(CDTN)学习任务间的相似性表示,并结合自注意模块与软注意网络(SAN)来增强特征提取和任务权重分配,以提高学习效率并减少对先前知识的遗忘。
47 1
【博士每天一篇文献-模型】Meta-Learning Based Tasks Similarity Representation for Cross Domain Lifelong Learning
|
6月前
|
存储 JSON 算法
【论文代码】②.1 STIOCS: Active learning-based semi-supervised training framework for IOC extraction
【论文代码】②.1 STIOCS: Active learning-based semi-supervised training framework for IOC extraction
34 0
|
6月前
|
自然语言处理
【论文代码】① STIOCS: Active learning-based semi-supervised training framework for IOC extraction
【论文代码】① STIOCS: Active learning-based semi-supervised training framework for IOC extraction
44 0
|
机器学习/深度学习 自然语言处理 算法
Multimedia Event Extraction From News With a Unified Contrastive Learning Framework论文解读
从新闻中提取事件在下游应用程序中有很多好处。然而,今天的事件提取(EE)系统通常专注于单一的模态——无论是文本还是图像
178 0
|
机器学习/深度学习 编解码 数据可视化
Speech Emotion Recognition With Local-Global aware Deep Representation Learning论文解读
语音情感识别(SER)通过从语音信号中推断人的情绪和情感状态,在改善人与机器之间的交互方面发挥着至关重要的作用。尽管最近的工作主要集中于从手工制作的特征中挖掘时空信息,但我们探索如何从动态时间尺度中建模语音情绪的时间模式。
136 0
|
机器学习/深度学习 人工智能 计算机视觉
Re2:读论文 CS-GNN Measuring and Improving the Use of Graph Information in Graph Neural Networks
Re2:读论文 CS-GNN Measuring and Improving the Use of Graph Information in Graph Neural Networks
Re2:读论文 CS-GNN Measuring and Improving the Use of Graph Information in Graph Neural Networks
|
机器学习/深度学习
Re22:读论文 HetSANN An Attention-based Graph Neural Network for Heterogeneous Structural Learning
Re22:读论文 HetSANN An Attention-based Graph Neural Network for Heterogeneous Structural Learning
Re22:读论文 HetSANN An Attention-based Graph Neural Network for Heterogeneous Structural Learning
|
机器学习/深度学习 搜索推荐
【推荐系统论文精读系列】(十四)--Information Fusion-Based Deep Neural Attentive Matrix Factorization Recommendation
推荐系统的出现,有效地缓解了信息过载的问题。而传统的推荐系统,要么忽略用户和物品的丰富属性信息,如用户的人口统计特征、物品的内容特征等,面对稀疏性问题,要么采用全连接网络连接特征信息,忽略不同属性信息之间的交互。本文提出了基于信息融合的深度神经注意矩阵分解(ifdnamf)推荐模型,该模型引入了用户和物品的特征信息,并采用不同信息域之间的交叉积来学习交叉特征。此外,还利用注意机制来区分不同交叉特征对预测结果的重要性。此外,ifdnamf采用深度神经网络来学习用户与项目之间的高阶交互。同时,作者在电影和图书这两个数据集上进行了广泛的实验,并证明了该模型的可行性和有效性。
295 0
【推荐系统论文精读系列】(十四)--Information Fusion-Based Deep Neural Attentive Matrix Factorization Recommendation
|
机器学习/深度学习 搜索推荐
【推荐系统论文精读系列】(十七)--Content-Aware Collaborative Music Recommendation Using Pre-trained Neural Networks
虽然内容是我们音乐收听喜好的基础,但音乐推荐的领先性能是通过基于协作过滤的方法实现的,这种方法利用了用户收听历史中的相似模式,而不是歌曲的音频内容。与此同时,协同过滤有一个众所周知的“冷启动”问题,也就是说,它无法处理没有人听过的新歌。将内容信息整合到协作过滤方法的努力在许多非音乐应用中都取得了成功,比如科学文章推荐。受相关工作的启发,我们将语义标签信息训练成一个神经网络作为内容模型,并将其作为协作过滤模型的先决条件。这样的系统仍然允许用户监听数据“为自己说话”。在百万歌曲数据集上进行了测试,结果表明该系统比协同过滤方法有更好的效果,并且在冷启动情况下具有良好的性能。
250 0
【推荐系统论文精读系列】(十七)--Content-Aware Collaborative Music Recommendation Using Pre-trained Neural Networks
|
机器学习/深度学习 存储 自然语言处理
【推荐系统论文精读系列】(八)--Deep Crossing:Web-Scale Modeling without Manually Crafted Combinatorial Features
人工制作的组合特征是许多成功模型背后的 "秘诀"。然而,对于网络规模的应用来说,特征的种类和数量使得这些手工制作的特征在创建、维护和部署时成本高昂。本文提出了Deep Crossing模型,它是一个深度神经网络,可以自动结合特征来产生卓越的模型。Deep Crossing的输入是一组单独的特征,可以是密集的也可以是稀疏的。重要的交叉特征是由网络隐含地发现的,网络由嵌入和堆叠层以及残余单元的级联组成。
261 0