开发者社区 > ModelScope模型即服务 > 自然语言处理 > 正文

zero-shot分类模型可以作下游的自有数据作微调吗?

zero-shot分类模型可以作下游的自有数据作微调吗?

展开
收起
ModelScope运营小助手 2022-10-30 16:48:49 2087 0
1 条回答
写回答
取消 提交回答
  • zero-shot分类模型是基于自然语言推理任务构建的,具体实现方式可以参考一下评测文章探索ModelScope之零样本分类中的原理分析部分。这导致了zero-shot模型的训练任务与下游任务并不完全一致。目前modelscope中还未支持直接使用下游任务进行微调,具体实现方式我们也在考量中,敬请期待后续版本的更新。

    若想在现有的基础上使用自有数据进行微调,可以将分类任务统一转化为自然语言推理任务,例如一个多分类任务:

    • 待分类样本为:世界那么大,我想去看看。

    • 所有类别为:旅游,家居,科技

    • 标签为:旅游

    那么,可生成以下三个训练数据对zero-shot分类模型进行微调:

    1.premise:世界那么大,我想去看看,hypothesis:旅游,label: entailment。

    2.premise:世界那么大,我想去看看,hypothesis:家居,label: contradiction。

    3.premise:世界那么大,我想去看看,hypothesis:科技,label: contradiction。

    2022-11-04 22:55:22
    赞同 展开评论 打赏

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

相关电子书

更多
《DeepRec:大规模稀疏模型训练引擎》 立即下载
优势特征蒸馏(Privileged Features Distillation)在手淘信息流推荐中的应用 立即下载
展心展力MetaApp:基于DeepRec的稀疏模型训练实践 立即下载