A Survey on Contrastive Self-Supervised Learning(对比式自监督学习研究)-----pretext tasks、Downstream task解释

简介: A Survey on Contrastive Self-Supervised Learning(对比式自监督学习研究)-----pretext tasks、Downstream task解释

摘要部分:

Self-supervised learning(自监督学习) has gained popularity because of its ability to avoid the cost of annotating(给…做注释) large-scale datasets. It is capable of adopting self-defined pseudolabels(伪标签) as supervision and use the learned representations(模型表示) for several downstream tasks. Specifically, contrastive learning has recently become a dominant component (重要的部分)in self-supervised learning for computer vision, natural language processing (NLP), and other domains(领域). It aims at embedding(把…嵌入) augmented(增强的) versions of the same sample close to each other while trying to push away embeddings from different samples. This paper provides an extensive review of self-supervised methods that follow the contrastive approach. The work explains commonly used pretext tasks(借口任务、代理任务) in a contrastive learning setup, followed by different architectures that have been proposed(提议) so far. Next, we present(可作提出) a performance comparison of different methods for multiple downstream tasks such as image classification, object detection, and action recognition. Finally, we conclude with the limitations of the current methods and the need for further techniques and future directions to make meaningful progress.

Keywords: contrastive learning; self-supervised learning; discriminative(有区别的) learning; image/video classification; object detection; unsupervised learning; transfer learning


翻译:自监督学习因为它可以避免给大规模数据做标注的成本而获得普及。它有能力采用自定义的伪标签做监督并使用学习好的模型表示几个下游任务。特别的,最近对比学习在自监督学习像计算机视觉、自然语言处理和其它领域已经是重要的组成部分。它旨在将相同样本的增强版本彼此靠近的嵌入,然后进一步推进不同样本的嵌入。这篇文章对遵循对比方法的自监督方法进行了广泛的回顾。这项工作解释了在对比学习程序中通常使用的代理任务,然后解释了到目前为止已经提出的不同的构架。接下来我们提出了几个下游任务的不同方法的性能比较,比如图像识别、物体检测、行为识别。最后,我们总结的当前方法的局限性和对未来技术和目标的需求,以取得有意义的进步。

关键词:对比学习、自监督学习、判别式学习、图像/视频分类、物体检测、无监督学习、迁移学习


名词理解:

pretext tasks:常被翻译为代理任务、借口任务。可以理解为是一种为达到特定训练任务而设计的间接任务。比如在训练神经网络时,我们需要自己设置一些参数的值,那么传统上我们会毫无目标的的随机进行设置,这样我们往往需要对参数进行大量的调整。但是我们现在拿出一部分数据先进行训练,得到一组参数的值,然后用这组参数的值作为初始值,那么在接下来的训练中往往大大减少了调整参数的工作量。这种有助于模型更好的执行目标任务的任务就称为pretext tasks。

Downstream task:常被翻译成下游任务,其就是利用预训练的模型在当前数据集的效果

相关文章
|
1月前
|
存储 算法 计算机视觉
【博士每天一篇文献-模型】Meta-Learning Based Tasks Similarity Representation for Cross Domain Lifelong Learning
本文提出了一种基于元学习的跨域终身学习框架,通过跨域三元组网络(CDTN)学习任务间的相似性表示,并结合自注意模块与软注意网络(SAN)来增强特征提取和任务权重分配,以提高学习效率并减少对先前知识的遗忘。
39 1
【博士每天一篇文献-模型】Meta-Learning Based Tasks Similarity Representation for Cross Domain Lifelong Learning
|
1月前
|
存储 开发框架 .NET
【博士每天一篇文献-综述】A Comprehensive Survey of Continual Learning Theory, Method and Application
本文综述了持续学习的理论基础、方法论和应用实践,探讨了五种主要的解决策略,包括基于回放、架构、表示、优化和正则化的方法,并深入分析了持续学习的不同场景、分类、评价指标以及面临的挑战和解决方案。
18 1
【博士每天一篇文献-综述】A Comprehensive Survey of Continual Learning Theory, Method and Application
|
1月前
|
机器学习/深度学习 存储 数据采集
【博士每天一篇文献-综述】A survey on few-shot class-incremental learning
本文是一篇关于少量样本增量学习(Few-shot Class-Incremental Learning, FSCIL)的综述,提出了一种新的分类方法,将FSCIL分为五个子类别,并提供了广泛的文献回顾和性能评估,讨论了FSCIL的定义、挑战、相关学习问题以及在计算机视觉领域的应用。
21 4
|
1月前
|
机器学习/深度学习
【文献学习】 ComNet: Combination of Deep Learning andExpert Knowledge in OFDM Receiver
本文提出了一种模型驱动的DL结构,称为ComNet,以取代传统的或FC-DNN的OFDM接收机。
27 1
|
1月前
|
机器学习/深度学习 算法 测试技术
【博士每天一篇文献-算法】iCaRL_ Incremental Classifier and Representation Learning
本文介绍了iCaRL算法,一种增量分类器和表示学习系统,它能够逐步从数据流中学习新概念,通过使用最近均值示例规则、基于牧羊的样本选择和知识蒸馏等方法,在CIFAR-100和ImageNet数据集上展示了其优越的逐步学习能力和对灾难性遗忘的有效抵抗。
18 0
|
4月前
|
自然语言处理 数据格式
【ChatIE】论文解读:Zero-Shot Information Extraction via Chatting with ChatGPT
【ChatIE】论文解读:Zero-Shot Information Extraction via Chatting with ChatGPT
81 1
|
机器学习/深度学习 自然语言处理 算法
【论文精读】COLING 2022-KiPT: Knowledge-injected Prompt Tuning for Event Detection
事件检测旨在通过识别和分类事件触发词(最具代表性的单词)来从文本中检测事件。现有的大部分工作严重依赖复杂的下游网络,需要足够的训练数据。
151 0
【论文精读】COLING 2022-KiPT: Knowledge-injected Prompt Tuning for Event Detection
|
机器学习/深度学习 存储 人工智能
Zero-Shot, One-Shot, and Few-Shot Learning概念介绍
Zero-Shot, One-Shot, and Few-Shot Learning概念介绍
5514 0
|
机器学习/深度学习 存储 自然语言处理
【论文解读】A review on the attention mechanism of deep learning
注意力已经成为深度学习中最重要的概念之一。本文旨在对近年来提出的最新注意力模型作概述。我们建立了一个较为通用的模型,此外根据四个标准即注意力的柔软性、输入特征的形式、输入表示和输出表示来对当前注意力模型进行分类。最后讨论了注意力在深度学习可解释上的作用。
533 0
|
机器学习/深度学习 人工智能 搜索推荐
【推荐系统论文精读系列】(十五)--Examples-Rules Guided Deep Neural Network for Makeup Recommendation
在本文中,我们考虑了一个全自动补妆推荐系统,并提出了一种新的例子-规则引导的深度神经网络方法。该框架由三个阶段组成。首先,将与化妆相关的面部特征进行结构化编码。其次,这些面部特征被输入到示例中——规则引导的深度神经推荐模型,该模型将Before-After图像和化妆师知识两两结合使用。
149 0
【推荐系统论文精读系列】(十五)--Examples-Rules Guided Deep Neural Network for Makeup Recommendation