【统览整个学术圈】上交大发布知识图谱AceKG,超1亿实体,近100G数据量

简介: 由上海交通大学王新兵教授和张伟楠教授指导的Acemap团队知识图谱小组,近日发布了学术知识图谱AceKG,提供了近100G大小的数据集,为每个实体提供了丰富的属性信息,涵盖权威学术知识,旨在为众多学术大数据挖掘项目提供支持。

知识图谱是知识工程的一个分支,由语义网络发展而来,由于其在搜索与推荐系统中的极大应用前景,近几年在机器学习、自然语言处理等最新技术的推动下迅速发展,受到了业界和学术界的广泛关注。

最新发布的Acemap知识图谱(AceKG)描述了超过1亿个学术实体、22亿条三元组信息,涵盖了全面的学术信息。具体而言,AceKG包含了61,704,089篇paper、52,498,428位学者、50,233个研究领域、19,843个学术研究机构、22,744个学术期刊、1,278个学术会议以及3个学术联盟(如C9联盟)。

同时,AceKG也为每个实体提供了丰富的属性信息,在网络拓扑结构的基础上加上语义信息,旨在为众多学术大数据挖掘项目提供全面支持。

8ea56eb8c32bc6a7fb0769900037a708599178bf

AceKG的结构框架

与现有学术知识图谱相比,AceKG在以下方面具有优势:

8481c8f592b7f349aa84a1de5c171db681516edf AceKG提供了学术异构图谱,包含了多样的学术实体与相应的属性,可以支持多样的学术大数据挖掘课题,例如现阶段异构网络向量化的诸多课题。
8481c8f592b7f349aa84a1de5c171db681516edf AceKG从更高的角度统览整个学术圈,提供了近100G大小的数据集,包括论文、作者、领域、机构、期刊、会议、联盟,支持权威和实用的学术研究。
8481c8f592b7f349aa84a1de5c171db681516edf AceKG以结构化的Turtle文件格式给出(具体格式见下表),致力于减少数据预处理的不便,同时更易于机器处理,支持全部Apache Jena API。
dcd882f9d20b422dbbc7dee166857a6e1260d95c

在工程架构上,AceKG使用Apache Jena框架进行驱动。Apache Jena(http://jena.apache.org)使用TDB数据库存储三元组数据,并且提供SPARQL引擎支持对三元组数据进行查询。

65aeacb2792a5cc4e339e84d14a558bddd79d6ac

AceKG具体工程架构


上海交通大学电子信息与电气工程学院副院长、John Hopcroft计算中心执行主任、Acemap学术搜索项目总负责人王新兵教授在接受新智元访谈时表示:“本次发布的AceKG学术知识图谱,其最大的优势就是背后所依靠的整个Acemap学术搜索系统巨大的数据库,我们拥有的约1.15亿名学者信息和1.27亿篇论文信息,为AceKG的构建提供了海量的结构化数据。”

“在保证海量数据的同时,我们也深知紧跟学术领域最前沿的重要性,所以最新发表的ACM、IEEE论文也会及时收录,确保我们系统的前沿性与实用性。

在谈及本次发布的近100G数据量的AceKG学术知识图谱将如何应用的问题上,王新兵教授风趣地谈到:“本次发布的AceKG是从一个更高的角度对整个学术界进行统览,所以这次发布的数据集很大,不仅有计算机领域,也有医学,通信等领域。”

“打一个比方,本次发布的AceKG好比一整扇的猪肉,对于一个正常人,这一整扇的猪肉不可能全部吃下,医学领域的人可能喜欢吃‘火腿’,计算机领域的人可能喜欢吃‘猪蹄’,就算是对于同一部分肉,你也可以做成鱼香肉丝或者是糖醋排骨等不同的菜。”

在AceKG如何应用这个问题上,团队制定了“三步走”的战略:

第一步是把“整扇的猪肉”切成不同量级的肉。现在的AceKG拥有22亿的三元组,未来可能会推出几万和几十万量级三元组的数据集,并且在这些较小的数据集上评测一些算法,比如“异构网络向量化”的这个话题。现在常用的数据集是FB15k和WN18,但我们在进行学术领域的相关研究时,没有发现较好的学术领域异构网络数据集,我们可能在未来推出的较小的数据集上测试一些如TransE的经典向量化算法。

第二步则是把肉做成具体的如“糖醋排骨”这样具体的菜,类似于QQ或者Facebook这样利用社交网络给你推荐你可能感兴趣的人,比如你刚加了一位好友,你想知道他的婚姻状况,可能这两个社交应用给你推荐的“感兴趣的人”里面,就有这位朋友的妻子。在学术领域,同学们申请出国也好,学者们想进入某一领域也好,都需要类似的学术圈社交网络的新型推荐,这种推荐不仅仅是局限于合作者或者在同一个机构工作,我们的Acemap学术搜索系统在未来将致力于基于AceKG的特色推荐系统研发。

第三步则有点像《红楼梦》刘姥姥进大观园吃的那道茄子菜——这道茄子在烹饪的过程中使用了大量的鸡油、鸡肉等材料,我们最后就想在Acemap学术搜索系统中做成一道这样的“茄子”,最后的交互式可视化应用可以为用户提供更加流畅、舒适的使用体验,而在这道“茄子”背后的鸡油,鸡肉就是我们的AceKG在提供支撑。

新智元了解到,除AceKG之外,Acemap团队近期也发布了学术会议期刊核心(core)学者地图、CS热词近五年热度变化趋势统计及未来热度预测等研究成果,从不同角度对学术信息进行挖掘。详情参考Acemap学术地图式搜索系统:http://acemap.sjtu.edu.cn/


原文发布时间为:2018-03-14

本文作者:Acemap团队

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”微信公众号

原文链接:【统览整个学术圈】上交大发布知识图谱AceKG,超1亿实体,近100G数据量

相关文章
|
自然语言处理 机器人 API
GitHub开源史上最大规模中文知识图谱
GitHub开源史上最大规模中文知识图谱
GitHub开源史上最大规模中文知识图谱
|
JavaScript 前端开发
javascript 如何判断字符串日期是否相差七天
在JavaScript中,你可以使用`Date`对象来比较两个日期之间的差异。下面是一个简单的示例,演示如何判断两个字符串日期是否相差七天: ```javascript function isSevenDaysDifference(date1, date2) { // 确保输入是字符串 if (typeof date1 !== 'string' || typeof date2 !== 'string') { return false; } // 将字符串转换为Date对象 var d1 = new Date(date1);
424 1
|
机器学习/深度学习 PyTorch 算法框架/工具
RGCN的torch简单案例
RGCN 是指 Relational Graph Convolutional Network,是一种基于图卷积神经网络(GCN)的模型。与传统的 GCN 不同的是,RGCN 可以处理具有多种关系(边)类型的图数据,从而更好地模拟现实世界中的实体和它们之间的复杂关系。 RGCN 可以用于多种任务,例如知识图谱推理、社交网络分析、药物发现等。以下是一个以知识图谱推理为例的应用场景: 假设我们有一个知识图谱,其中包含一些实体(如人、物、地点)以及它们之间的关系(如出生于、居住在、工作于)。图谱可以表示为一个二元组 (E, R),其中 E 表示实体的集合,R 表示关系的集合,每个关系 r ∈ R
2424 0
|
7月前
|
存储 人工智能 关系型数据库
从“听指令”到“当参谋”,阿里云AnalyticDB GraphRAG如何让AI开窍
阿里云瑶池旗下的云原生数据仓库 AnalyticDB PostgreSQL 版 GraphRAG 技术,创新融合知识图谱动态推理+向量语义检索,通过实体关系映射与多跳路径优化,构建可应对复杂场景的决策引擎。本文将通过家电故障诊断和医疗预问诊两大高价值场景,解析其如何实现从“被动应答”到“主动决策”的跨越。
|
11月前
|
机器学习/深度学习 编解码 人工智能
Qwen2.5-VL Technical Report
Qwen2.5-VL是阿里云团队推出的Qwen系列最新旗舰模型,具备显著提升的基础能力和创新功能。它在视觉识别、对象定位、文档解析和长视频理解等方面实现突破,支持精准的边界框/点定位及复杂输入处理。通过技术创新如窗口注意力、动态帧率采样和绝对时间编码,该模型在多模态任务中表现出色,在多个基准测试中超越顶级闭源模型,适用于从边缘AI到高性能计算的广泛场景。
|
机器学习/深度学习 知识图谱
第4章:知识融合:概述、方法
第4章:知识融合:概述、方法
第4章:知识融合:概述、方法
|
前端开发 Linux API
无缝融入,即刻智能[一]:Dify-LLM大模型平台,零编码集成嵌入第三方系统,42K+星标见证专属智能方案
【8月更文挑战第3天】无缝融入,即刻智能[一]:Dify-LLM大模型平台,零编码集成嵌入第三方系统,42K+星标见证专属智能方案
无缝融入,即刻智能[一]:Dify-LLM大模型平台,零编码集成嵌入第三方系统,42K+星标见证专属智能方案
|
机器学习/深度学习 人工智能 自然语言处理
人工智能(AI)技术的发展史
人工智能 (AI) 的发展历程从20世纪50年代起步,历经初始探索、早期发展、专家系统兴起、机器学习崛起直至深度学习革命。1950年图灵测试提出,1956年达特茅斯会议标志着AI研究开端。60-70年代AI虽取得初步成果但仍遭遇困境。80年代专家系统如MYCIN展现AI应用潜力。90年代机器学习突飞猛进,1997年深蓝战胜国际象棋冠军。21世纪以来,深度学习技术革新了AI,在图像、语音识别等领域取得重大成就。尽管AI已广泛应用,但仍面临数据隐私、伦理等挑战。未来AI将加强人机协作、增强学习与情感智能,并在医疗、教育等领域发挥更大作用。
|
人工智能 运维 监控
智能化运维:AI在IT基础架构管理中的应用
【6月更文挑战第8天】本文将探讨人工智能(AI)如何革新传统的IT运维领域,实现智能化的故障预测、自动化的修复流程以及高效的资源分配。我们将通过实例分析AI技术如何优化数据中心的能源使用,提升网络性能监控的准确性,并降低系统维护成本。
410 2
|
编解码 程序员 开发者
【Python】已解决:UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xa1 in position 0: invalid start by
【Python】已解决:UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xa1 in position 0: invalid start by
11951 0