如何定义标签词映射
标签词映射(Verbalizer)也是提示学习中可选的重要模块,用于建立预测词和标签之间的映射,将“预训练-微调”模式中预测标签的任务转换为预测模板中掩码位置的词语,从而将下游任务统一为预训练任务的形式。
- 微调方式 : 数据集的标签为 负向 和 正向,分别映射为 0 和 1 ;
- 提示学习 : 通过下边的标签词映射建立原始标签与预测词之间的映射
总结
- Prompt的设计问题。目前使用 Prompt 的工作大多集中于分类任务和生成任务,其它任务则较少,因为如何有效地将预训练任务和 prompt 联系起来还是一个值得探讨的问题。另外,模板和答案的联系也函待解决。模型的表现同时依赖于使用的模板和答案的转化,如何同时搜索或者学习出两者联合的最好效果仍然很具挑战性。
- Prompt的理论分析和可解释性。尽管 Prompt 方法在很多情况下都取得了成功,但是目前 prompt-based learning 的理论分析和保证还很少,使得人们很难了解 Prompt 为什么能达到好的效果,又为什么在自然语言中意义相近的 Prompt 有时效果却相差很大。
存在的疑问
如何应用于生物信息学?
存在的挑战:
对于DNA、RNA、蛋白质序列,如何去构建一个合理的提示模板?