"ModelScope中,尝试了qwen1.5-4B-chat模型的微调,但是在推理时报错怎么解决? :
ValueError: Input length of input_ids is 28, but max_length
is set to 20. This can lead to unexpected behavior. You should consider increasing max_length
or, better yet, setting max_new_tokens
.
请问该如何解决?"
可以加一下,model.generation_config.max_length = 256。后面您试试部署,比较方便。 此回答整理自钉钉群“魔搭ModelScope开发者联盟群 ①”
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352