论文Express | 百度最新论文:基于交互的自然语言学习

简介:

百度研究院(Baidu Research)的博客刚刚更新发布了一篇关于自然语言处理的新论文,在利用交互进行自然语言学习上,提出了一些有趣的新观点,来和文摘菌一起来看看这篇论文的主要内容。

4a9b5ef2dd15564310ca8a4b131ea60eb59dadd1

本文提出了一种基于交互式的自然语言学习的方法,其中,学习者通过与人类交互并从反馈中学习自然语言,从而在参与对话的过程中学习和提高语言技能。

与监督学习环境的条件有所不同,本文中没有对模型(学习者)进行有标签的直接监督学习训练。相反,学习者为了学习说话,必须先能说话,并且人类将提供自然语言(例如,是/否)和非语言(例如,点头/微笑)反馈。

通过对话交流,AI可以可以询问问题来积极获取信息,并在随后的对话中,使用刚才学到的知识。

下图展示了训练期间,几种不同形式的示例对话。

d227d54208ee7eafeaad91b3e2101670b2b33d5a

最初,学习者给出毫无意义的句子,但通过这种单一的互动对话逐渐提高了学习者的对话技能。最后,学习者可以用自然语言正确回答问题。

此外,模型的泛化能力进一步证明了模型的语言学习能力。也就是,在之前从未出现在问题中的概念,通过被询问对象的描述,模型可以通过一些已知观点或者概念的组合来回答。

例如,在训练期间,从未进行过{鳄梨,东}组合的问答训练。被询问的“老师”只是描述了“对象是橙色”,但从未对模型进行提问。在测试过程中,模型在回答有关“鳄梨”问题时,既可以回答“正东”方向的水果是“鳄梨”,也可以回答“鳄梨”是“橙色”的问题,如上图所示。

本文的目标之一是增加语言学习环境的复杂性以培养更复杂的语言行为。另一个目标是探索知识建模和快速学习,使模型能够与人类互动并有效地向现实世界学习。


原文发布时间为:2018-05-16

本文作者:文摘菌

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”。

相关文章
|
3月前
|
机器学习/深度学习 存储 自然语言处理
NLP参数高效迁移学习:Adapter方法——论文简读
本研究深入探讨了自然语言处理中参数高效的迁移学习方法——Adapter。通过在预训练模型中引入小型可训练模块,仅调整少量额外参数即可完成模型适配。理论分析表明,该方法在初始化时保持网络行为稳定,并通过瓶颈结构大幅压缩参数规模。实验结果显示,Adapter在GLUE基准上仅用3.6%的参数便达到接近全微调的性能,且对学习率具有更强的鲁棒性。相比传统微调和其他参数高效方法,Adapter在多任务场景下展现出更优的存储效率与泛化能力,为大规模模型的实际部署提供了高效可行的解决方案。
258 7
|
10月前
|
人工智能 自然语言处理 数据可视化
Data Formulator:微软开源的数据可视化 AI 工具,通过自然语言交互快速创建复杂的数据图表
Data Formulator 是微软研究院推出的开源 AI 数据可视化工具,结合图形化界面和自然语言输入,帮助用户快速创建复杂的可视化图表。
1032 10
Data Formulator:微软开源的数据可视化 AI 工具,通过自然语言交互快速创建复杂的数据图表
|
12月前
|
数据采集 人工智能 自然语言处理
Midscene.js:AI 驱动的 UI 自动化测试框架,支持自然语言交互,生成可视化报告
Midscene.js 是一款基于 AI 技术的 UI 自动化测试框架,通过自然语言交互简化测试流程,支持动作执行、数据查询和页面断言,提供可视化报告,适用于多种应用场景。
3026 1
Midscene.js:AI 驱动的 UI 自动化测试框架,支持自然语言交互,生成可视化报告
|
机器学习/深度学习 自然语言处理 算法
如何快速高效全面的学习自然语言处理
如何快速高效全面的学习自然语言处理
246 0
|
机器学习/深度学习 存储 自然语言处理
从零开始学习Java神经网络、自然语言处理和语音识别,附详解和简易版GPT,语音识别完整代码示例解析
从零开始学习Java神经网络、自然语言处理和语音识别,附详解和简易版GPT,语音识别完整代码示例解析
438 0
|
存储 机器学习/深度学习 人工智能
5个优质免费自然语言处理学习资源 | 语言技术导航
5个优质免费自然语言处理学习资源 | 语言技术导航
|
Web App开发 JSON 中间件
express学习 - (3)express 路由
express学习 - (3)express 路由
395 1
|
机器学习/深度学习 自然语言处理 算法
19ContraBERT:顶会ICSE23 数据增强+对比学习+代码预训练模型,提升NLP模型性能与鲁棒性:处理程序变异(变量重命名)【网安AIGC专题11.15】
19ContraBERT:顶会ICSE23 数据增强+对比学习+代码预训练模型,提升NLP模型性能与鲁棒性:处理程序变异(变量重命名)【网安AIGC专题11.15】
530 1
|
JSON 资源调度 中间件
express学习 - (1)环境配置与第一个express项目
express学习 - (1)环境配置与第一个express项目
662 0
|
机器学习/深度学习 自然语言处理 算法
NLP(自然语言处理)自学习平台可能是一个很好的选
NLP(自然语言处理)自学习平台可能是一个很好的选
190 3