funasr + torchrun 多卡分布式推理的时候，有人遇到每张卡加载模型的速度差异很大吗？
funasr + torchrun 多卡分布式推理的时候，有人遇到每张卡加载模型的速度差异很大吗？比如 librispeech，均分到8张卡，7张卡都推理结束了，第8张卡的模型还没加载上去？推理的模型是 sensevoice
展开
收起
1
条回答
写回答
写回答
-
我觉着你的问题与funasr无关，比如，是不是你包的外围逻辑里面，没加dist.barrier()，可以去阅读一下，torchrun ddp文档。 此回答整理自钉群“modelscope-funasr社区交流”
2024-07-11 08:58:18赞同 12 展开评论 打赏
相关问答
热门讨论
热门文章
modelscope-funasr的FunClip怎么安装的？
2183
modelscope-funasr怎么设置使得模型可以用CUDA0以外的其他gpu？
33611
如何下载llama模型到本地？
2886
modelscope-funasr有说话人分离功能吗？
259
modelscope-funasr怎么使用 gpu 加速啊？
504
请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
1208
modelscope-funasr的 sense voice和funasr的底层asr能力是一样吗？
299
modelscope-funasr高并发实时语音识别，36核，128g，拖40路很吃力有什么方案吗？
343
modelscope-funasr的sensevoice还不支持热词，是吗？
200
modelscope-funasr这个问题该怎么解决？
134
展开全部
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
2007
Proactive Agent：清华联合面壁智能开源的新一代主动Agent交互范式
51
Mooncake：月之暗面Kimi联合清华等机构推出的大模型推理架构
50
LLM 大模型学习必知必会系列(一)：大模型基础知识篇
1426
Co-op Translator：微软推出面向开发者的开源多语言翻译工具
43
360Zhinao2-7B：360推出自研360智脑大模型的升级版
37
DashVector&千问7B模型，打造极简RAG 之 基于专属知识的问答服务实践
1108
Promptriever：信息检索模型，支持自然语言提示响应用户搜索需求
33
aisuite：吴恩达发布开源Python库，一个接口调用多个大模型
44
TÜLU 3：Ai2推出的系列开源指令遵循模型
42
展开全部
