图如何双曲建模?弗吉尼亚理工Amazon最新WWW2022「双曲神经网络:理论、架构和应用」教程

在线体验各类最新模型,更有模型 免费Token 额度领取!
立即体验
简介: 图如何双曲建模?弗吉尼亚理工Amazon最新WWW2022「双曲神经网络:理论、架构和应用」教程

【新智元导读】TheWebConf即将召开,来自弗吉亚理工和亚马逊等学者的《双曲神经网络》教程,值得关注!


TheWebConf是中国计算机学会(CCF)推荐的A类国际学术会议,由国际万维网会议委员会(IW3C2)和主办地地方团队合作组织,每年召开一次,今年是第31届会议,本年度论文录用率为17.7%,



图是普遍存在的数据结构,广泛应用于许多数据存储场景,包括社交网络、推荐系统、知识图谱和电子商务。这导致了GNN架构的兴起,用于分析和编码来自图的信息,以便在下游任务中获得更好的性能。


虽然图分析领域的初步研究是由神经结构驱动的,但最近的研究已经揭示了图数据集特有的重要属性,如层次结构和全局结构。这推动了对双曲空间的研究,因为它们能够有效地编码图数据集中存在的固有层次。


随后,该研究也被应用到其他领域,如自然语言处理和计算机视觉,取得了令人惊叹的结果。然而,进一步发展的主要挑战是双曲网络的晦涩,以及更好地理解必要的代数操作,以扩大应用到不同的神经网络结构。


在本教程中,我们的目标是向网络领域的研究人员和实践者介绍欧几里得运算的双曲等变,这是处理它们在神经网络架构中的应用所必需的。


此外,我们描述了GNN架构的流行双曲线变体,如递归网络、卷积网络和注意力网络,并解释了它们的实现,而不是欧几里得网络。


此外,我们还通过图分析、知识图谱推理、产品搜索、NLP和计算机视觉等领域的现有应用来激发我们的教程,并将性能提高与欧几里得的同类方法进行比较。


演讲内容



专知

,赞10


目录


结构


讲者介绍



Nurendra Choudhary是弗吉尼亚理工大学计算机科学系的博士生,在导师Chandan Reddy博士的指导下,他的研究重点是图分析和产品搜索领域的表示学习。


他在WWW、NeurIPS、WSDM和COLING等顶级会议上发表相关论文。他获得了国际信息技术学院计算语言学硕士学位,期间他获得了2018年CICLING的最佳论文奖。



Nikhil Rao是亚马逊的一名高级科学家,他在那里从事大规模图建模和算法的研究,以改进亚马逊搜索。在加入亚马逊之前,他是帕洛阿尔托Technicolor AI Labs的研究员。


Nikhil的研究兴趣和专长包括大规模优化、数据建模和挖掘,以及开发利用数据结构的算法。Nikhil在顶级会议和期刊上发表了几篇论文。他获得了来自UT Austin的ICES博士后奖学金和IEEE最佳学生论文奖。他拥有UW Madison的电气和计算机工程博士学位。



Karthik Subbian是亚马逊的首席科学家,拥有超过17年的行业经验。他领导着一个由科学家和工程师组成的团队来提高搜索质量和信任度。


在亚马逊,他领导了一个由科学家和工程师组成的团队,利用社交网络结构及其交互来探索信息传播和用户建模问题。此前,他在IBM T.J. Watson研究中心的商业分析和数学科学部门工作,是Facebook的一名研究科学家和负责人。


他的专业领域包括机器学习、信息检索和大规模网络分析。更具体地说,网络中的半监督和监督学习、个性化和推荐、信息扩散和表示学习。他拥有印度科学研究所(IISc)的硕士学位和明尼苏达大学的博士学位,都是计算机科学专业。


Karthik获得了许多著名奖项,包括IBM博士奖学金、2013年SIAM数据挖掘(SDM)会议的最佳论文奖和2013年INFORMS Edelman桂冠奖。


教程节选



参考资料:

[1]Code Library: GraphZoo: Facilitating learning, using, and designing graph processing pipelines/models systematically.

[2]Choudhary, N., Rao, N., Katariya, S., Subbian, K., & Reddy, C. K. (2022, February). ANTHEM: Attentive Hyperbolic Entity Model for Product Search. In Proceedings of the International Conference on Web Search and Data Mining 2022. (pdf)

[3]Choudhary, N., Rao, N., Katariya, S., Subbian, K., & Reddy, C. (2021). Probabilistic Entity Representation Model for Reasoning over Knowledge Graphs. Advances in Neural Information Processing Systems, 34. (pdf)

[4]Choudhary, N., Rao, N., Katariya, S., Subbian, K., & Reddy, C. K. (2021, April). Self-Supervised Hyperboloid Representations from Logical Queries over Knowledge Graphs. In Proceedings of the Web Conference 2021 (pp. 1373-1384). (pdf)

[5]Chami, I., Ying, Z., Ré, C., & Leskovec, J. (2019). Hyperbolic graph convolutional neural networks. Advances in neural information processing systems, 32, 4868-4879. (pdf) Ganea, O. E., Bécigneul, G., & Hofmann, T. (2018). Hyperbolic neural networks. Advances in neural information processing systems, 5345-5355. (pdf) Shimizu, R., Mukuta, Y., & Harada, T. (2021). Hyperbolic neural networks++. Interna

相关文章
|
9月前
|
机器学习/深度学习 PyTorch TensorFlow
卷积神经网络深度解析:从基础原理到实战应用的完整指南
蒋星熠Jaxonic,深度学习探索者。深耕TensorFlow与PyTorch,分享框架对比、性能优化与实战经验,助力技术进阶。
|
11月前
|
监控 Java API
Spring Boot 3.2 结合 Spring Cloud 微服务架构实操指南 现代分布式应用系统构建实战教程
Spring Boot 3.2 + Spring Cloud 2023.0 微服务架构实践摘要 本文基于Spring Boot 3.2.5和Spring Cloud 2023.0.1最新稳定版本,演示现代微服务架构的构建过程。主要内容包括: 技术栈选择:采用Spring Cloud Netflix Eureka 4.1.0作为服务注册中心,Resilience4j 2.1.0替代Hystrix实现熔断机制,配合OpenFeign和Gateway等组件。 核心实操步骤: 搭建Eureka注册中心服务 构建商品
1478 3
|
9月前
|
人工智能 JavaScript 前端开发
GenSX (不一样的AI应用框架)架构学习指南
GenSX 是一个基于 TypeScript 的函数式 AI 工作流框架,以“函数组合替代图编排”为核心理念。它通过纯函数组件、自动追踪与断点恢复等特性,让开发者用自然代码构建可追溯、易测试的 LLM 应用。支持多模型集成与插件化扩展,兼具灵活性与工程化优势。
739 6
|
10月前
|
机器学习/深度学习 人工智能 算法
卷积神经网络深度解析:从基础原理到实战应用的完整指南
蒋星熠Jaxonic带你深入卷积神经网络(CNN)核心技术,从生物启发到数学原理,详解ResNet、注意力机制与模型优化,探索视觉智能的演进之路。
811 11
|
10月前
|
人工智能 Cloud Native 中间件
划重点|云栖大会「AI 原生应用架构论坛」看点梳理
本场论坛将系统性阐述 AI 原生应用架构的新范式、演进趋势与技术突破,并分享来自真实生产环境下的一线实践经验与思考。
|
10月前
|
机器学习/深度学习 人工智能 vr&ar
H4H:面向AR/VR应用的NPU-CIM异构系统混合卷积-Transformer架构搜索——论文阅读
H4H是一种面向AR/VR应用的混合卷积-Transformer架构,基于NPU-CIM异构系统,通过神经架构搜索实现高效模型设计。该架构结合卷积神经网络(CNN)的局部特征提取与视觉Transformer(ViT)的全局信息处理能力,提升模型性能与效率。通过两阶段增量训练策略,缓解混合模型训练中的梯度冲突问题,并利用异构计算资源优化推理延迟与能耗。实验表明,H4H在相同准确率下显著降低延迟和功耗,为AR/VR设备上的边缘AI推理提供了高效解决方案。
1544 0
|
9月前
|
机器学习/深度学习 自然语言处理 算法
48_动态架构模型:NAS在LLM中的应用
大型语言模型(LLM)在自然语言处理领域的突破性进展,很大程度上归功于其庞大的参数量和复杂的网络架构。然而,随着模型规模的不断增长,计算资源消耗、推理延迟和部署成本等问题日益凸显。如何在保持模型性能的同时,优化模型架构以提高效率,成为2025年大模型研究的核心方向之一。神经架构搜索(Neural Architecture Search, NAS)作为一种自动化的网络设计方法,正在为这一挑战提供创新性解决方案。本文将深入探讨NAS技术如何应用于LLM的架构优化,特别是在层数与维度调整方面的最新进展,并通过代码实现展示简单的NAS实验。
430 0
|
11月前
|
Web App开发 Linux 虚拟化
Omnissa Horizon 8 2506 (8.16) - 虚拟桌面基础架构 (VDI) 和应用软件
Omnissa Horizon 8 2506 (8.16) - 虚拟桌面基础架构 (VDI) 和应用软件
520 0
Omnissa Horizon 8 2506 (8.16) - 虚拟桌面基础架构 (VDI) 和应用软件
|
11月前
|
网络协议 Python
水声网络(UAN)仿真的信道建模(Matlab代码实现)
水声网络(UAN)仿真的信道建模(Matlab代码实现)
325 0
|
11月前
|
机器学习/深度学习 数据采集 存储
技术赋能下的能源智慧管理:MyEMS 开源系统的架构创新与应用深化
在全球能源转型与“双碳”战略推动下,MyEMS作为基于Python的开源能源管理系统,凭借模块化架构与AI技术,助力重点用能单位实现数字化、智能化能源管理。系统支持多源数据采集、智能分析、设备数字孪生与自适应优化控制,全面满足国家级能耗监测要求,并已在制造、数据中心、公共建筑等领域成功应用,助力节能降碳,推动绿色可持续发展。
351 0

热门文章

最新文章