ModelScope中测试了 网上的safetensors， 不行。还有什么办法么？
ModelScope中，codefuse for tensorrt-llm测试了 网上的safetensors， 不行。官方能不能支持一下，转格式不行https://zhuanlan.zhihu.com/p/663029110gptq int4 tensorrt-llm buildmodelsope里有autogptq的int4 但是无法build
展开
收起
2
条回答
写回答
写回答
-
对于TensorRT-LLM模型，我们需要先将其转换为TensorFlow SavedModel格式，然后再使用ModelScope进行部署。目前，ModelScope还不支持直接导入TensorRT模型。
关于你提到的"codefuse for tensorrt-llm"，我理解你可能在使用TensorFlow的Codefuse工具来转换TensorRT模型。然而，Codefuse目前只支持部分TensorFlow模型，对于TensorRT-LLM模型可能并不适用。
对于GPT-Q INT4模型，我们可以使用TensorFlow的SavedModel工具来将其转换为SavedModel格式。然后，你可以将这个SavedModel文件上传到ModelScope，并使用我们的自动部署工具进行部署。
2023-11-29 10:57:59赞同 展开评论 打赏 -
codefuse是我们的一款代码大模型产品，一些功能的推理用的是trtllm int4，如果您要测试trtllm int4的性能，可以去调用的，这个是主页地址：
https://codefuse.alipay.com
——此回答整理自钉群：魔搭ModelScope开发者联盟群 ①2023-11-22 21:33:05赞同 展开评论 打赏
相关问答
热门讨论
热门文章
ModelScope中，模型下载默认路径在哪个路径？
7243
服务器上onnxruntime-gpu 调用结束，如何释放显存
4605
ModelScope下载速度慢怎么解决？
773
com/action/joingroup?code=v1是什么意思
6050
modelscope cache 环境变量是啥？
2441
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
1768
ModelScope 使用14B模型推理时报这个错误？
1521
如何下载modelscope模型？
988
在ModelScope中，请问模型下载到本地的具体方法？
1242
Qwen-turbo和Qwen-14B-chat 微调区别
862
展开全部
