Re22:读论文 HetSANN An Attention-based Graph Neural Network for Heterogeneous Structural Learning

简介: Re22:读论文 HetSANN An Attention-based Graph Neural Network for Heterogeneous Structural Learning

1. Background & Motivation


现存的异质图神经网络往往都是通过meta-paths将异质图做成同质图:

image.png

使用meta-path的方法有2个缺点:

  1. meta-path的scheme需要专家定义,而且很难手工遍历和选择所有有价值的meta-path schemes

image.png

  1. (第二点我没搞懂啊,你这啥意思啊)


2. HetSANN


transformation + attention-based aggregation

image.png


2.1 Type-aware Attention Layer (TAL)

an adaptation layer of GNNs

在局部图邻居上做convolution operation

先在每个节点上加个自环(该节点类别)

image.png

Transformation Operation (C1)

对目标节点所有邻居做线性转换:image.png

Aggregation of Neighborhood (C2)

每条边的注意力系数:image.png

σ 是LeadkyReLU

concat product:image.png

多头机制:image.png

残差机制:image.png


2.2 Model Training and Three Extensions

用节点表征做节点分类任务,交叉熵:

image.png


2.2.1 E1: Multi-task Learning


2.2.2 E2: Voices-sharing Product

大致来说是强制关系和反关系的attention系数相反、机制满足特定要求。


2.2.3 E3: Cycle-consistency Loss

灵感来源于翻译领域的trick back translation and reconciliation

image.png

就是说这个节点它transform一圈转回来还应该是它自己

实现细节略


3. 实验


细节略,待补。


3.1 数据集

image.png


3.2 baseline


3.3 实验设置


3.4 主实验结果和Ablation Study

image.png


3.5 其他模型分析

image.png

image.png


4. 代码复现


等我服务器好了再说。

相关文章
|
SQL 存储 JSON
更快更强,SLS 推出高性能 SPL 日志查询模式
从海量的日志数据中,按照各种灵活的条件进行即时查询搜索,是可观测场景下的基本需求。本文介绍了 SLS 新推出的高性能 SPL 日志查询模式,支持 Unix 风格级联管道式语法,以及各种丰富的 SQL 处理函数。同时通过计算下推、向量化计算等优化,使得 SPL 查询可以在数秒内处理亿级数据,并支持 SPL 过滤结果分布图、随机翻页等特性。
13358 204
|
缓存 NoSQL 中间件
redis高并发缓存中间件总结!
本文档详细介绍了高并发缓存中间件Redis的原理、高级操作及其在电商架构中的应用。通过阿里云的角度,分析了Redis与架构的关系,并展示了无Redis和使用Redis缓存的架构图。文档还涵盖了Redis的基本特性、应用场景、安装部署步骤、配置文件详解、启动和关闭方法、systemctl管理脚本的生成以及日志警告处理等内容。适合初学者和有一定经验的技术人员参考学习。
793 7
|
机器学习/深度学习 人工智能 算法
深入解析图神经网络:Graph Transformer的算法基础与工程实践
Graph Transformer是一种结合了Transformer自注意力机制与图神经网络(GNNs)特点的神经网络模型,专为处理图结构数据而设计。它通过改进的数据表示方法、自注意力机制、拉普拉斯位置编码、消息传递与聚合机制等核心技术,实现了对图中节点间关系信息的高效处理及长程依赖关系的捕捉,显著提升了图相关任务的性能。本文详细解析了Graph Transformer的技术原理、实现细节及应用场景,并通过图书推荐系统的实例,展示了其在实际问题解决中的强大能力。
1598 30
|
IDE 前端开发 API
OpenSumi问题之OpenSumi 与 Theia 相比有什么优势
OpenSumi问题之OpenSumi 与 Theia 相比有什么优势
270 6
|
机器学习/深度学习 持续交付 云计算
Python在云计算中的优势?
Python在云计算中的优势?【8月更文挑战第12天】
313 2
|
存储 Oracle 关系型数据库
|
缓存 算法 应用服务中间件
nginx 反向代理 与缓存功能
nginx 反向代理 与缓存功能
|
小程序 前端开发 Java
微信小程序|Springboot+Node+Vue实现学科竞赛管理系统
微信小程序|Springboot+Node+Vue实现学科竞赛管理系统
318 0
|
中间件 数据库 数据安全/隐私保护
数据集成中间件知识点总结
  数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。   一、模型分类   (1)联邦式数据库系统(Federated Distributed Database System),这种分布式数据库的特点是结点自治和没有全局数据模式,每个结点所看到的数据模式仅仅限于此结点所用到的数据。
2054 84