ModelScope该模型在使用的时候是否有些需要注意的地方？
烦问一下，ModelScope我在使用damo/nlp_structbert_siamese-uninlu_chinese-base模型的时候，正常情况下调用，100长度的文本推理耗时0.01秒左右，等调用量激增后，同样的文本长度，推理耗时增长100倍，差不多耗时1秒左右，麻烦问一下，该模型在使用的时候是否有些需要注意的地方，比如释放资源之类的？damo/nlp_structbert_siamese-uninlu_chinese-base这个模型是否支持批量推理，如果支持，该如何使用？
展开
收起
1
条回答
写回答
写回答
-
这边pipeline推理第一次慢，后面for循环推理的时候时间短；这是for循环中不同的input
另外看您的问题应该是想多线程/多进程处理，这个没有代码示例，可以参考一般的python代码操作。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”2023-12-18 21:48:50赞同 展开评论 打赏
相关问答
热门讨论
热门文章
ModelScope中，模型下载默认路径在哪个路径？
10087
com/action/joingroup?code=v1是什么意思
7525
服务器上onnxruntime-gpu 调用结束，如何释放显存
5421
我希望通过damo-YOLO训练1500*1500的图片
8865
请问transformer里的库导入有问题是什么原因呢？目前的版本是4.19.2
1537
ModelScope中我尝试使用这个模型搭建了一个推理服务，然后报错了怎么办？
3629
ModelScope在使用pipeline的时候分配gpu设备，没有用呀？
744
我想使用 Modelscope 自己下载下来的本地模型，不知道怎么操作？
795
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
2371
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
2083
展开全部
OOTDiffusion：开源AI虚拟试衣工具，智能适配性别和体型自动调整衣物
61
See3D：智源研究院开源的无标注视频学习 3D 生成模型
44
Director：构建视频智能体的 AI 框架，用自然语言执行搜索、编辑、合成和生成等复杂视频任务
41
EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
101
SNOOPI：创新 AI 文本到图像生成框架，提升单步扩散模型的效率和性能
35
Sketch2Lineart：AI绘画工具，自动将手绘草图转换成清晰的线条画
115
Aurora：xAI 为 Grok AI 推出新的图像生成模型，xAI Premium 用户可无限制访问
33
HunyuanVideo：腾讯推出的开源视频生成模型，参数高达130亿
89
VISION XL：支持四倍超分辨率的 AI 视频修复处理工具，提供去除模糊、修复缺失等功能
28
DrivingDojo：中科院联合美团推出的自动驾驶数据集，包含视频片段、驾驶操作和驾驶知识
24
展开全部
