【论文解读】Do Prompts Solve NLP Tasks Using Natural Language?

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
实时计算 Flink 版,5000CU*H 3个月
简介: 提示学习实现文本分类的各类方法对比的论文

 🍥关键词:文本分类、提示学习

🍥发表期刊:Arxiv 2022

🍥原始论文:https://arxiv.org/pdf/2203.00902

最近在做Prompted learning for text classification的工作,Prompted learning的核心在于设计一个好的Template和Verbalizer。这篇文章对当前不同Template性能进行了比较。

一、Prompted Learning for Text classfication

先来看看提示学习如何实现文本分类任务 (图源【NLP】Prompt Learning 超强入门教程 - 知乎

image.gif编辑

流程:我拿BERT模型为例,输入一个句子,将其放到模板中输送到BERT模型中,然后获取【MASK】处的向量(注意,这里的向量不是一个768维的Token向量,而是预测BERT词表中每个单词可能性的向量,约3w),然后将fanstatic和boring对应在BERT词表中的位置的预测值拿出来,将其比较大小,若是fantastic大,则这个句子预测为1

二、Three different Template and Label word

目前主流的有三种提示模板(前两种能接受,第三种感觉有点扯淡)

image.gif编辑

标签映射词的构造也有三种

注意前两种方式的单词都必须是在BERT词表中出现过的,第三种是随机初始化的

image.gif编辑

三、Experiment

作者在使用Roberta-large预训练的基础上,对使用以下固定的Query信息,对三种不同的Template进行测试

image.gif编辑

image.gif编辑

作者还对自动提取的Label word提取的单词进行研究,看看性能优异的单词究竟是哪些

image.gif编辑

四、Conclusion

结论一:无论高、低资源环境,Schama Template的方式都是最优的,而且在低资源环境中表现更甚

结论二:对于哪些表现优异的自动提取的标签往往是不自然的,因此提示其实不需要严格的按照人类的说话和写作

目录
相关文章
|
4月前
|
机器学习/深度学习 自然语言处理 PyTorch
【NLP】讯飞英文学术论文分类挑战赛Top10开源多方案--6 提分方案
在讯飞英文学术论文分类挑战赛中的提分技巧和实现方法,包括数据增强、投票融合、伪标签等策略,以及加快模型训练的技巧,如混合精度训练和使用AdamW优化器等。
43 0
|
4月前
|
数据采集 机器学习/深度学习 存储
【NLP】讯飞英文学术论文分类挑战赛Top10开源多方案–5 Bert 方案
在讯飞英文学术论文分类挑战赛中使用BERT模型进行文本分类的方法,包括数据预处理、模型微调技巧、长文本处理策略以及通过不同模型和数据增强技术提高准确率的过程。
42 0
|
4月前
|
机器学习/深度学习 数据采集 自然语言处理
【NLP】讯飞英文学术论文分类挑战赛Top10开源多方案–4 机器学习LGB 方案
在讯飞英文学术论文分类挑战赛中使用LightGBM模型进行文本分类的方案,包括数据预处理、特征提取、模型训练及多折交叉验证等步骤,并提供了相关的代码实现。
53 0
|
4月前
|
数据采集 自然语言处理 机器学习/深度学习
【NLP】讯飞英文学术论文分类挑战赛Top10开源多方案–3 TextCNN Fasttext 方案
讯飞英文学术论文分类挑战赛中使用TextCNN和FastText模型进行文本分类的方案,包括数据预处理、模型训练和对抗训练等步骤,并分享了模型调优的经验。
39 0
|
4月前
|
机器学习/深度学习 自然语言处理 数据挖掘
【NLP】讯飞英文学术论文分类挑战赛Top10开源多方案--2 数据分析
讯飞英文学术论文分类挑战赛数据集的分析,包括数据加载、缺失值检查、标签分布、文本长度统计等内容,并总结了数据的基本情况。
24 0
|
4月前
|
机器学习/深度学习 数据采集 自然语言处理
【NLP】讯飞英文学术论文分类挑战赛Top10开源多方案--1 赛后总结与分析
参与讯飞英文学术论文分类挑战赛的经验,包括使用的多种模型和技术,如TextCNN、FastText、LightGBM和BERT,以及提分策略和遇到的问题。
42 0
|
6月前
|
自然语言处理
【自然语言处理NLP】DPCNN模型论文精读笔记
【自然语言处理NLP】DPCNN模型论文精读笔记
75 2
|
7月前
|
机器学习/深度学习 数据采集 自然语言处理
NLP比赛笔记(基于论文摘要的文本分类与关键词抽取挑战赛)
NLP比赛笔记(基于论文摘要的文本分类与关键词抽取挑战赛)
|
机器学习/深度学习 人工智能 编解码
NLP领域再创佳绩!阿里云机器学习平台 PAI 多篇论文入选 ACL 2023
阿里云机器学习平台PAI主导的多篇论文在ACL 2023 Industry Track上入选。
|
机器学习/深度学习 人工智能 自然语言处理
NLP还能做什么?北航、ETH、港科大、中科院等多机构联合发布百页论文,系统阐述后ChatGPT技术链(1)
NLP还能做什么?北航、ETH、港科大、中科院等多机构联合发布百页论文,系统阐述后ChatGPT技术链
136 0