从单个示例学习计算任务,Amazon元学习让ML专才变通才

简介: 当前深度学习应用范围很窄,一个任务训练出来的算法无法完成别的任务。Amazon团队调整新的元学习流程,使ML专才变通才。

微信图片_20220108182107.png


一般DL应用范围狭窄


在过去的十年中,深度学习系统在许多人工智能任务中已被证明非常成功,但是它们的应用范围很狭窄。例如,一个经过训练可以识别猫和狗的计算机视觉系统,仍将需要大量训练才能开始分得清鲨鱼和海龟。


一般的机器学习旨在用大量相同数据进行训练以提高识别准确度。与合成环境相反,现实生活中的学习经历是多种多样、非常混杂的,因为它们所用的类别(class)的数量和每个类别中的实例数目也不同。


微信图片_20220108182111.jpg

 

现实中的学习还只衡量语料库内的归纳,而在形成情节(episode)时忽略了类之间的关系,比如,区分狗和椅子的难度和区分不同狗的品种之间的难度肯定不同。(Episode指的是RL中agent在环境里面执行某个策略从开始到结束的一整个过程。)

 

元学习使ML从专才转变为通才


元学习是一种旨在将机器学习系统转变为通才的范例。元学习既包括实现相关目标,又要学习如何执行这些目标


微信图片_20220108182113.jpg


在预定于即将举行的国际学习表示会议上发表的一篇论文中,亚马逊研究人员提出了一种在不增加数据标注要求的情况下提高元学习任务性能的方法。

 

关键思想是调整元学习过程,以便除了传统的标记示例外,它还可以利用少量的未标记数据集

 

凭直觉,我们认为,即使没有标签,这些额外的数据仍然包含许多有用的信息。例如,假设正在对陆生动物(例如猫和狗)的图像进行训练的元学习系统正在被用来识别水生动物。未贴标签的水生动物图像(即不表示动物是鲨鱼还是海龟的图像)仍可以告诉模型有关学习任务的信息,例如水下照片的光照条件和背景颜色。

 

来康康元学习的流程有何独特之处


元学习研究人员通常将元学习的“培训”集称为支持集(support sets),将元学习“测试”集称为查询集(query sets)。


在传统的机器学习中,模型由一组标记的数据(支持集)训练,并学习将特征与标签相关联。然后,它会馈入单独的一组测试数据(一个查询集),并评估其对数据标签的预测程度。为了进行评估,系统设计者可以访问测试数据标签,而模型本身则不能。


微信图片_20220108182116.jpg

 

元学习增加了另一层复杂性。在元学习的第一阶段“元训练” (与传统训练类似)中,模型学习执行一系列相关任务。每个任务都有自己的训练数据和测试数据集,并且模型可以同时看到这两者。这样一来,AI就可以了解响应训练数据的不同方式是如何影响测试数据性能的

 

第二阶段“元测试”中,它将再次接受一系列任务的训练,这些与在元训练中看到的任务相关但不完全相同,例如,从识别陆生动物调整到识别水生动物。同样,对于每个任务,模型都可以看到训练数据和测试数据。但是,尽管在元训练期间,测试数据被标记,但是在元测试期间,标记是未知的,模型必须自己进行预测

 

在元训练阶段,算法可以访问支持集和查询集的标签,并使用它们来生成全局模型。在元测试阶段,它只能访问支持集的标签、而不能访问查询集的标签,目的在于使全局模型适应每个新任务


微信图片_20220108182119.png

 

方法中的两个关键创新


首先,在元训练期间,我们不会学习单个全局模型。取而代之的是,我们训练一个辅助神经网络,以基于相应的支持集为每个任务生成局部模型

 

其次,更重要的是,在元训练期间,我们还训练了第二个辅助网络,以利用查询集的未标记数据。然后,在元测试期间,我们可以使用查询集微调局部模型,从而提高性能。

 

实验结果

 

在实验中,我们将通过我们的方法训练的模型与对象识别元学习任务上的16个不同基线进行了比较。我们发现,根据基础神经网络的体系结构,我们的方法可将一次性学习或仅从一个带标签的示例中学习新的对象分类任务的性能提高11%至16%

 

经过实验,他们的系统打败了一次学习(one-shot learning)任务的16种基准。根据基础神经网络的体系结构,他们的方法可将一次学习、或仅从一个带标签示例中学习新的对象分类任务的性能提高11%到16%,具体取决于基础AI模型的架构。

 

即便如此,在五次学习或每个新任务有五个示例的学习中,有几个基准优于模型。研究人员认为,这些基准是他们方法的补充,他们认为组合方法可以降低错误率。这将是他们下一步工作的方向之一。

 

 

更多信息请看参考链接:

 

关联的软件代码也已开源,放在Xfer存储库中:

https://github.com/amzn/xfer


从单个示例学习计算任务

https://www.amazon.science/blog/learning-computational-tasks-from-single-examples

 

研究人员提出数据集来衡量几次学习成绩

https://venturebeat.com/2020/02/20/researchers-propose-data-set-to-measure-few-shot-learning-performance/

 

亚马逊的AI使用元学习来完成相关任务

https://venturebeat.com/2020/04/09/amazons-ai-taps-meta-learning-techniques-to-accomplish-related-tasks/

相关文章
|
机器学习/深度学习 数据采集 算法
机器学习之数据均衡算法种类大全+Python代码一文详解(下)
机器学习之数据均衡算法种类大全+Python代码一文详解(下)
962 0
机器学习之数据均衡算法种类大全+Python代码一文详解(下)
|
人工智能 C++
ML之FE:Vintage曲线/Vintage分析的简介、计算逻辑、案例应用之详细攻略
ML之FE:Vintage曲线/Vintage分析的简介、计算逻辑、案例应用之详细攻略
ML之FE:Vintage曲线/Vintage分析的简介、计算逻辑、案例应用之详细攻略
|
分布式计算 数据可视化 大数据
用Spark分析Amazon的8000万商品评价(内含数据集、代码、论文)
尽管数据科学家经常通过分布式云计算来处理数据,但是即使在一般的笔记本电脑上,只要给出足够的内存,Spark也可以工作正常(在这篇文章中,我使用2016年MacBook Pro / 16GB内存,分配给Spark 8GB内存)。
19652 0
|
29天前
|
弹性计算 Serverless API
海量大模型如何一键部署上云,函数计算 x ModelScope 社区给出答案
得益于阿里云函数计算的产品能力,魔搭 SwingDeploy 后的模型推理 API 服务默认具备极致弹性伸缩(缩零能力)、GPU 虚拟化(最小 1GB 显存粒度)、异步调用能力、按用付费、闲置计费等能力,这些能力帮助算法工程师大大加快了魔搭开源模型投入生产的生命周期。
|
5月前
|
Serverless PyTorch 文件存储
函数计算产品使用问题之如何使用并运行PyTorch
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
3月前
|
SQL 数据管理 关系型数据库
《SQL转换秘籍:Vanna+Qwen双剑合璧,轻松实现私有模型转换》——揭秘如何利用Vanna和Qwen这两款神级工具,让你的SQL数据管理和转换如虎添翼!
【8月更文挑战第17天】Vanna与Qwen是两款优秀的开源数据库管理工具,助力用户高效管理及转换SQL数据。先安装Vanna和Qwen,随后在Vanna中创建并编辑私有模型,定义表结构等。完成模型构建后,导出为SQL文件。接着,在Qwen中导入此文件,并根据目标数据库类型(如MySQL)转换SQL语句。例如,生成创建`users`表的SQL代码。这两款工具显著提升了数据库管理工作流程的便捷性与效率。
146 1
|
5月前
|
机器学习/深度学习 算法 TensorFlow
算法金 | 只需十四步:从零开始掌握Python机器学习(附资源)
```markdown ## 摘要 全网同名「算法金」的作者分享了一篇针对Python机器学习入门的教程。教程旨在帮助零基础学习者掌握Python和机器学习,利用免费资源成为实践者。内容分为基础篇和进阶篇,覆盖Python基础、机器学习概念、数据预处理、科学计算库(如NumPy、Pandas和Matplotlib)以及深度学习(TensorFlow、Keras)。此外,还包括进阶算法如SVM、随机森林和神经网络。教程还强调了实践和理解最新趋势的重要性。
71 0
算法金 | 只需十四步:从零开始掌握Python机器学习(附资源)
|
6月前
|
存储 机器学习/深度学习 人工智能
社区供稿 | Yuan2.0千亿大模型在通用服务器上的高效推理实现:以NF8260G7服务器为例
浪潮信息联合Intel在IPF大会上发布了可运行千亿参数大模型的AI通用服务器,首次实现了单机通用服务器,即可运行千亿参数大模型。并在发布现场演示了基于NF8260G7服务器进行yuan2.0-102B模型在代码编写、逻辑推理等高难度问题上的实时推理效果,引起了业界广泛的关注。本文将详细解读yuan2.0-102B模型在NF8260G7服务器上进行高效实时推理的原理和技术路径。
|
SQL 机器学习/深度学习 人工智能
LLM系列 | 14: 实测OpenAI函数调用功能:以数据库问答为例
今天这篇小作文以数据库问答(Text2SQL)为例进一步介绍ChatGPT的函数调用。本文将介绍如何将模型生成的结果输入到自定义的函数中,并利用该功能实现数据库问答功能。
LLM系列 | 14: 实测OpenAI函数调用功能:以数据库问答为例
下一篇
无影云桌面