开发者社区 > ModelScope模型即服务 > 自然语言处理 > 正文

使用大模型推理pipeline()方法时,如何传入top_k、top_p等参数控制生成内容

在使用pipeline()方法推理GPT3模型时,希望通过传入top_k、top_p等参数控制生成内容的多样性,但官方并没有相关示例,在源代码也没找到相关内容

展开
收起
dt_2631112557 2023-03-15 17:37:15 717 0
1 条回答
写回答
取消 提交回答
  • 在 1.4.1 版本后 palm,gpt3 等生成模型可以直接在 pipeline 中传入生成参数,例如: pipe = pipeline(Tasks.text_generation, model=model_id) print(pipe('示例输入', top_p=0.95, temperature=0.9, max_length=1024)) 后续我们会完善文本生成相关文档~

    2023-03-23 14:43:21
    赞同 展开评论 打赏

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

热门讨论

热门文章

相关电子书

更多
大规模机器学习在蚂蚁+阿里的应用 立即下载
阿里巴巴机器学习平台AI 立即下载
微博机器学习平台架构和实践 立即下载