从单个示例学习计算任务,Amazon元学习让ML专才变通才

简介: 当前深度学习应用范围很窄,一个任务训练出来的算法无法完成别的任务。Amazon团队调整新的元学习流程,使ML专才变通才。

微信图片_20220108182107.png


一般DL应用范围狭窄


在过去的十年中,深度学习系统在许多人工智能任务中已被证明非常成功,但是它们的应用范围很狭窄。例如,一个经过训练可以识别猫和狗的计算机视觉系统,仍将需要大量训练才能开始分得清鲨鱼和海龟。


一般的机器学习旨在用大量相同数据进行训练以提高识别准确度。与合成环境相反,现实生活中的学习经历是多种多样、非常混杂的,因为它们所用的类别(class)的数量和每个类别中的实例数目也不同。


微信图片_20220108182111.jpg

 

现实中的学习还只衡量语料库内的归纳,而在形成情节(episode)时忽略了类之间的关系,比如,区分狗和椅子的难度和区分不同狗的品种之间的难度肯定不同。(Episode指的是RL中agent在环境里面执行某个策略从开始到结束的一整个过程。)

 

元学习使ML从专才转变为通才


元学习是一种旨在将机器学习系统转变为通才的范例。元学习既包括实现相关目标,又要学习如何执行这些目标


微信图片_20220108182113.jpg


在预定于即将举行的国际学习表示会议上发表的一篇论文中,亚马逊研究人员提出了一种在不增加数据标注要求的情况下提高元学习任务性能的方法。

 

关键思想是调整元学习过程,以便除了传统的标记示例外,它还可以利用少量的未标记数据集

 

凭直觉,我们认为,即使没有标签,这些额外的数据仍然包含许多有用的信息。例如,假设正在对陆生动物(例如猫和狗)的图像进行训练的元学习系统正在被用来识别水生动物。未贴标签的水生动物图像(即不表示动物是鲨鱼还是海龟的图像)仍可以告诉模型有关学习任务的信息,例如水下照片的光照条件和背景颜色。

 

来康康元学习的流程有何独特之处


元学习研究人员通常将元学习的“培训”集称为支持集(support sets),将元学习“测试”集称为查询集(query sets)。


在传统的机器学习中,模型由一组标记的数据(支持集)训练,并学习将特征与标签相关联。然后,它会馈入单独的一组测试数据(一个查询集),并评估其对数据标签的预测程度。为了进行评估,系统设计者可以访问测试数据标签,而模型本身则不能。


微信图片_20220108182116.jpg

 

元学习增加了另一层复杂性。在元学习的第一阶段“元训练” (与传统训练类似)中,模型学习执行一系列相关任务。每个任务都有自己的训练数据和测试数据集,并且模型可以同时看到这两者。这样一来,AI就可以了解响应训练数据的不同方式是如何影响测试数据性能的

 

第二阶段“元测试”中,它将再次接受一系列任务的训练,这些与在元训练中看到的任务相关但不完全相同,例如,从识别陆生动物调整到识别水生动物。同样,对于每个任务,模型都可以看到训练数据和测试数据。但是,尽管在元训练期间,测试数据被标记,但是在元测试期间,标记是未知的,模型必须自己进行预测

 

在元训练阶段,算法可以访问支持集和查询集的标签,并使用它们来生成全局模型。在元测试阶段,它只能访问支持集的标签、而不能访问查询集的标签,目的在于使全局模型适应每个新任务


微信图片_20220108182119.png

 

方法中的两个关键创新


首先,在元训练期间,我们不会学习单个全局模型。取而代之的是,我们训练一个辅助神经网络,以基于相应的支持集为每个任务生成局部模型

 

其次,更重要的是,在元训练期间,我们还训练了第二个辅助网络,以利用查询集的未标记数据。然后,在元测试期间,我们可以使用查询集微调局部模型,从而提高性能。

 

实验结果

 

在实验中,我们将通过我们的方法训练的模型与对象识别元学习任务上的16个不同基线进行了比较。我们发现,根据基础神经网络的体系结构,我们的方法可将一次性学习或仅从一个带标签的示例中学习新的对象分类任务的性能提高11%至16%

 

经过实验,他们的系统打败了一次学习(one-shot learning)任务的16种基准。根据基础神经网络的体系结构,他们的方法可将一次学习、或仅从一个带标签示例中学习新的对象分类任务的性能提高11%到16%,具体取决于基础AI模型的架构。

 

即便如此,在五次学习或每个新任务有五个示例的学习中,有几个基准优于模型。研究人员认为,这些基准是他们方法的补充,他们认为组合方法可以降低错误率。这将是他们下一步工作的方向之一。

 

 

更多信息请看参考链接:

 

关联的软件代码也已开源,放在Xfer存储库中:

https://github.com/amzn/xfer


从单个示例学习计算任务

https://www.amazon.science/blog/learning-computational-tasks-from-single-examples

 

研究人员提出数据集来衡量几次学习成绩

https://venturebeat.com/2020/02/20/researchers-propose-data-set-to-measure-few-shot-learning-performance/

 

亚马逊的AI使用元学习来完成相关任务

https://venturebeat.com/2020/04/09/amazons-ai-taps-meta-learning-techniques-to-accomplish-related-tasks/

相关文章
|
10月前
|
数据采集 人工智能 自然语言处理
AI终于能听懂宝宝说话了!ChildMandarin:智源研究院开源的低幼儿童中文语音数据集,覆盖22省方言
ChildMandarin是由智源研究院与南开大学联合推出的开源语音数据集,包含41.25小时3-5岁儿童普通话语音数据,覆盖中国22个省级行政区,为儿童语音识别和语言发展研究提供高质量数据支持。
1100 20
AI终于能听懂宝宝说话了!ChildMandarin:智源研究院开源的低幼儿童中文语音数据集,覆盖22省方言
|
9月前
|
JSON 搜索推荐 API
京东商品详情API接口攻略
本文介绍如何使用京东商品详情API获取商品信息,包括名称、价格、规格和用户评价等。该API基于RESTful设计,支持HTTP POST/GET请求,返回JSON格式数据。文章提供了Python请求示例,涵盖参数配置、签名生成与错误处理,帮助开发者快速集成并构建比价工具或推荐系统等应用。通过调整`param_json`参数,可灵活获取所需商品详情信息。
|
Linux iOS开发 MacOS
惊呆了!Python如何实现无缝跨平台,系统调用背后的秘密🔍
【8月更文挑战第4天】Python以其“编写一次,到处运行”的跨平台特性著称。这得益于Python解释器的C语言基础及为各操作系统定制的版本。Python的标准库与第三方库作为桥梁,统一了跨平台系统调用接口。例如,`open`函数在不同平台上均能透明地执行文件操作。面对路径分隔等差异,`os.path`等模块提供了跨平台解决方案,确保了一致的编程体验,降低了开发成本并推动了Python的广泛应用。
629 0
|
人工智能 自然语言处理 自动驾驶
Prompt入门到进阶
本文介绍了如何有效利用AI工具,特别是ChatGPT,通过优化提问技巧来获得更高质量的答案。首先阐述了AI工具在各行业的广泛应用,并强调了良好提问的重要性。接着,文章详细解释了提问的基本原则——CLAR原则(明确、合乎逻辑、准确、相关),以及更高级的LACES模型(增加限定条件、分配角色、提供背景、给出示例、拆分任务)。通过案例演示,展示了如何运用这些原则和模型撰写书籍的不同章节。最后,文章总结了设计高效提示的关键要素,并鼓励读者通过实践来提升与AI交互的能力,从而在工作和生活中获得更高的效率和创新。
330 1
|
Unix Linux 程序员
全面介绍Linux中的Vim编辑器
全面介绍Linux中的Vim编辑器
|
存储 缓存 对象存储
通过云存储网关事件告警了解网关使用常见问题
本文通过云存储网关控制台事件告警中心,来说明网关使用过程中一些常见问题及相关的应对方法
|
人工智能 物联网 云计算
|
XML 监控 网络协议
软件定义网络 (SDN):分层和架构术语
“软件定义网络 (Software-Defined Networking,SDN)”是可编程网络范式 [PNSurvey99] [OF08] 的一个术语。简而言之,SDN 是指软件应用程序能够动态地对单个网络设备进行编程,从而控制整个网络的行为 [NV09]。Boucadair 和 Jacquenet [RFC7149] 指出,SDN 是一组技术,用于以确定性、动态和可扩展的方式促进网络服务的设计、交付和操作。
1855 0
软件定义网络 (SDN):分层和架构术语
|
监控 API 数据安全/隐私保护
阿里云物联网平台入门体验
阿里云物联网平台是一个集成了设备管理、数据安全通信和消息订阅等能力的一体化平台。向下支持连接海量设备,采集设备数据上云;向上提供云端API,服务端可通过调用云端API将指令下发至设备端,实现远程控制。此篇文章按照官方入门实例操作下
709 0
阿里云物联网平台入门体验
|
算法 C语言 索引
09【C语言 & 趣味算法】再识:折半查找(二分查找):基本思想、程序流程图及完整代码、附:顺序查找
09【C语言 & 趣味算法】再识:折半查找(二分查找):基本思想、程序流程图及完整代码、附:顺序查找
09【C语言 & 趣味算法】再识:折半查找(二分查找):基本思想、程序流程图及完整代码、附:顺序查找

热门文章

最新文章