ModelScope中测试了 网上的safetensors， 不行。还有什么办法么？
ModelScope中，codefuse for tensorrt-llm测试了 网上的safetensors， 不行。官方能不能支持一下，转格式不行https://zhuanlan.zhihu.com/p/663029110gptq int4 tensorrt-llm buildmodelsope里有autogptq的int4 但是无法build
展开
收起
2
条回答
写回答
写回答
-
对于TensorRT-LLM模型，我们需要先将其转换为TensorFlow SavedModel格式，然后再使用ModelScope进行部署。目前，ModelScope还不支持直接导入TensorRT模型。
关于你提到的"codefuse for tensorrt-llm"，我理解你可能在使用TensorFlow的Codefuse工具来转换TensorRT模型。然而，Codefuse目前只支持部分TensorFlow模型，对于TensorRT-LLM模型可能并不适用。
对于GPT-Q INT4模型，我们可以使用TensorFlow的SavedModel工具来将其转换为SavedModel格式。然后，你可以将这个SavedModel文件上传到ModelScope，并使用我们的自动部署工具进行部署。
2023-11-29 10:57:59赞同 展开评论 打赏 -
codefuse是我们的一款代码大模型产品，一些功能的推理用的是trtllm int4，如果您要测试trtllm int4的性能，可以去调用的，这个是主页地址：
https://codefuse.alipay.com
——此回答整理自钉群：魔搭ModelScope开发者联盟群 ①2023-11-22 21:33:05赞同 展开评论 打赏
相关问答
热门讨论
热门文章
ModelScope中，模型下载默认路径在哪个路径？
9942
com/action/joingroup?code=v1是什么意思
7415
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
2336
我希望通过damo-YOLO训练1500*1500的图片
8796
服务器上onnxruntime-gpu 调用结束，如何释放显存
5352
ModelScope中我尝试使用这个模型搭建了一个推理服务，然后报错了怎么办？
3576
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
2051
modelscope cache 环境变量是啥？
2817
streamlit 生成链接无法访问，gradio只生成内网，无法生成公网
2742
ModelScope在使用pipeline的时候分配gpu设备，没有用呀？
701
展开全部
Sketch2Lineart：AI绘画工具，自动将手绘草图转换成清晰的线条画
78
AnchorCrafter：中科院联合腾讯推出的AI虚拟主播带货视频制作技术
70
EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
62
MVGenMaster：复旦联合阿里等实验室推出的多视图扩散模型
49
Fancy123：华中科技和华南理工推出的3D网格生成技术
36
LTX Video：Lightricks推出的开源AI视频生成模型
52
HunyuanVideo：腾讯推出的开源视频生成模型，参数高达130亿
31
OminiControl：AI图像生成框架，实现图像主题控制和空间精确控制
29
关键点检测从入门到进阶
1337
SAM 2.1：Meta 开源的图像和视频分割，支持实时视频处理
27
展开全部
