阅读CHOLAN论文总结

简介: CHOLAN是一种模块化的实体链接方法,由两个transformer-based模型,按顺序集成的pipeline模型。第一个transformer模型:得到文本中的entity mention。第二个transformer模型:处理第一个得到的mention,获取其上下文和实体描述,对mention进行分类,放到对应实体的候选列表。

介绍(introduction):
实体链接任务:
给定一个句子,首先识别出句子中的实体,然后链接到知识库或知识图谱中最准确的实体。
举例说明实体链接的步骤:
Late Goals Give Japan win Over Syria.
Mention detection(MD):识别句子中的mention如: Japan和Syria。
Candidate generation(CG):对每个mention找到数据库中可能的实体列表。

 0(ED):利用mention和列表中的关系(coreference)和上下文特征(contextual features)来选出列表中最可能的实体。

实体链接的方法:
基于pipeline模型,将MD和ED作为独立的步骤进行实体链接。
缺点:误差传递,将MD的误差传到ED中会降低系统的整体性能
为解决第一种方法的误差,将MD和ED联合建模。
缺点:依赖于预先得到的实体的候选列表
将三个步骤联合建模,彼此依赖
目前存在的问题:
作者发现实体链接在处理的过程中广泛用到了transformer模型,但其性能低于基于LSTM模型的实体链接。
作者认为,候选生成(CG)阶段是影响实体链接性能的重要原因之一,该论文对此进行了探索。
然后基于存在的问题,提出一个新的方法:CHOLAN
第一步CHOLAN使用bert模型将输入的句子中的mention识别出来
第二步使用知识库内容扩展得到mention候选列表
最后将mention、其附近上下文文本、候选列表、数据库中的实体描述 输入到第二个bert模型。
注*:训练期间独立的训练MD和ED,测试期间,端到端的运行CHOLAN。
相关工作(related work):
Mention Detection :可以看成命名实体识别(named entity recognition,NER)任务,方法包括:CRFs、特征字典构建、基于特征推理的神经网络、上下文编码等等
Candidate Generation :主要有四种方法:

将MD阶段识别的mention与预先得到的候选列表直接匹配
通过字典查找(从几个不同的知识库中找到实体不同的名称进行建表)
使用经验概率实体图P(e|m)获得候选列表

P(e|m) 是mention和entity之间预先计算的先验概率
经验概率实体图由Ganea and Hofmann, 2017提出。

通过使用Wikidata 的实体标签、关联别名等数据扩展构建局部知识图谱

End to End EL :

Nguyen et al., 2016提出使用图模型联合MD和ED
Kolitsas et al., 2018提出了MD和ED联合模型,并使用了基于bi-LSTM模型进行MD,计算了提及嵌入(the entity mention embedding)和预定义的实体候选(set of predefined entity candidates)的相似度
Broscheit, 2019使用bert模型对三个子任务(MD、CG、ED)联合建模并训练
Févry et al., 2020使用了transformer模型实现了三个子任务;基于启发式模型进行消歧;对于MD、ED 训练神经网络,并使用别名生成实体
Mulang et al., 2020与CHOLAN类似,为MD和ED单独训练了两个神经模型,但是候选生成阶段仅使用了数据库中的实体映射生成候选列表,并没有像作者一样使用上下文特征。
相关文章
|
人工智能 自然语言处理 文字识别
DeepMind首发游戏AI智能体SIMA:开启虚拟世界的智能探索之旅
【4月更文挑战第3天】DeepMind推出了SIMA,一种能在多个3D环境中执行语言指令的智能体,标志着AI在理解和互动虚拟世界上的进步。SIMA通过多样化的训练数据学习导航、操作、决策等技能,并结合预训练模型处理高维度输入输出。尽管在复杂任务上仍有提升空间,SIMA展现了正向迁移能力和潜力,为AI研究和未来机器人技术铺平道路。然而,仍需解决鲁棒性、可控性、评估方法及道德安全问题。
502 4
DeepMind首发游戏AI智能体SIMA:开启虚拟世界的智能探索之旅
|
11月前
|
vr&ar 图形学 计算机视觉
突破次元壁!新加坡国立发布GenXD:拿捏真实感3D、4D动态场景
新加坡国立大学团队发布GenXD,突破3D和4D场景生成难题。通过利用常见相机和物体运动,提出数据整理管道及大型4D数据集CamVid-30K,开发出能生成逼真3D/4D场景的框架。其多视角-时间模块分离相机与物体运动,支持条件视图生成。尽管存在数据覆盖和复杂场景处理的挑战,GenXD仍显著提升了生成效果,为虚拟现实、游戏开发等领域带来新机遇。论文链接:https://arxiv.org/abs/2411.02319。
233 11
ly~
|
人工智能 搜索推荐 自动驾驶
人工智能的应用
人工智能在多个领域广泛应用,包括:医疗领域的疾病诊断、药物研发和医疗机器人;交通领域的自动驾驶和智能交通管理;金融领域的风险评估、金融诈骗检测和投资决策;教育领域的个性化学习和智能辅导;工业领域的质量检测和生产流程优化;家居领域的智能家居系统,如智能音箱和智能灯具等,极大提升了各行业的效率与服务质量。
ly~
896 1
|
机器学习/深度学习 数据采集 人工智能
【AI 生成式】生成式 AI 中变分自动编码器 (VAE) 的概念
【5月更文挑战第4天】【AI 生成式】生成式 AI 中变分自动编码器 (VAE) 的概念
|
开发者
Github-谷歌插件gitzip(加速器-不用再忍受几十kb/s的煎熬了)
Github-谷歌插件gitzip(加速器-不用再忍受几十kb/s的煎熬了)
826 0
Github-谷歌插件gitzip(加速器-不用再忍受几十kb/s的煎熬了)
|
小程序 JavaScript
【微信小程序-原生开发】实用教程11 - 用户登录鉴权(含云函数的创建、删除、使用,通过云函数获取用户的openid)
【微信小程序-原生开发】实用教程11 - 用户登录鉴权(含云函数的创建、删除、使用,通过云函数获取用户的openid)
522 0
|
数据可视化 测试技术
R语言几何布朗运动GBM模拟股票价格优化建立期权定价用概率加权收益曲线可视化
R语言几何布朗运动GBM模拟股票价格优化建立期权定价用概率加权收益曲线可视化
|
前端开发 JavaScript 容器
程序技术好文:纯原生javascript下拉框表单美化实例教程
程序技术好文:纯原生javascript下拉框表单美化实例教程
284 0
|
Unix API 开发者
微信公众号:如何根据关键词取文章列表 API 返回值说明?
微信公众号根据关键词获取文章列表的API通常指的是微信公众平台的“素材管理”接口中的“获取素材列表”功能。通过这个接口,开发者可以获取公众号已上传的文章素材列表,包括图文消息、视频、音频等。以下是API返回值的一般说明
|
Java
Java中的Switch选择语句详解
Java中的Switch选择语句详解
560 0