通义千问 RuntimeError: "addmm_impl_cpu_" not implement
这个问题我解决了,我来回答一下我是怎么解决的吧。首先,是魔搭社区的Qwen主页的例子有错误。下面是魔搭主页的例子而下面是github上面的例子可以看到魔搭社区的中的前两句把Qwen/Qwen-7B-Chat 错写成了qwen/Qwen-7B-Chat, 而这个问题魔搭主页没有修改,反而github主页修改了,这就可以看出来魔搭的地位了。
第二个修改,我用的服务器不能用cuda,所以不能使用fp16, 把fp16的选项删掉就可以了。(不是很懂,但是我猜如果设定fp16 = True 的话,会肯定调用cuda的)
model = AutoModelForCausalLM.from_pretrained('Qwen/Qwen-7B-Chat', device_map='auto', trust_remote_code=True).eval()
PS: 感觉魔搭的社区活跃度相比github还是差太多了
赞18
踩0