开发者社区> 问答> 正文

预训练模型通常包括哪两个阶段?

已解决

预训练模型通常包括哪两个阶段?

展开
收起
胡嘞嘞 2022-07-11 14:30:44 618 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    第一阶段是在大型语料库根据给定上下文预测特定文本。第二阶段是在特定的下游任务进行finetuning。

    以上内容摘自《高德技术2020年刊合集》电子书,点击https://developer.aliyun.com/topic/download?id=1135可下载完成版

    2022-07-12 14:09:43
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。
问答排行榜
最热
最新

相关电子书

更多
展心展力MetaApp:基于DeepRec的稀疏模型训练实践 立即下载
深度学习的迁移模型 立即下载
《DeepRec:大规模稀疏模型训练引擎》 立即下载