pipline中不能使用device_map参数
pipeline_se = pipeline(Tasks.sentence_embedding, model=model_id, device_map='auto')
报错如下：
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/root/miniconda3/envs/modelscope/lib/python3.8/site-packages/modelscope/pipelines/base.py", line 218, in __call__
output = self._process_single(input, *args, **kwargs)
File "/root/miniconda3/envs/modelscope/lib/python3.8/site-packages/modelscope/pipelines/base.py", line 246, in _process_single
out = self.preprocess(input, **preprocess_params)
File "/root/miniconda3/envs/modelscope/lib/python3.8/site-packages/modelscope/pipelines/base.py", line 387, in preprocess
return self.preprocessor(inputs, **preprocess_params)
File "/root/miniconda3/envs/modelscope/lib/python3.8/site-packages/modelscope/preprocessors/nlp/sentence_embedding_preprocessor.py", line 84, in __call__
query_inputs = self.nlp_tokenizer(
File "/root/miniconda3/envs/modelscope/lib/python3.8/site-packages/modelscope/preprocessors/nlp/transformers_tokenizer.py", line 108, in __call__
return self.tokenizer(text, text_pair, **tokenize_kwargs)
File "/root/miniconda3/envs/modelscope/lib/python3.8/site-packages/transformers/tokenization_utils_base.py", line 2561, in __call__
encodings = self._call_one(text=text, text_pair=text_pair, **all_kwargs)
File "/root/miniconda3/envs/modelscope/lib/python3.8/site-packages/transformers/tokenization_utils_base.py", line 2647, in _call_one
return self.batch_encode_plus(
File "/root/miniconda3/envs/modelscope/lib/python3.8/site-packages/transformers/tokenization_utils_base.py", line 2838, in batch_encode_plus
return self._batch_encode_plus(
TypeError: _batch_encode_plus() got an unexpected keyword argument 'device_map'
展开
收起
1
条回答
写回答
写回答
-
您好，在 PyTorch 1.6 中，device_map 参数已被弃用。如果需要在 Pipeline 中使用多 GPU，可以使用 nn.DataParallel 或 dist.DistributedDataParallel。
2023-09-22 16:36:14赞同 展开评论 打赏
相关问答
热门讨论
热门文章
小白求助，跟着大模型微调教程做不太明白
597
modelscope-funasr的FunClip怎么安装的？
1656
如何下载llama模型到本地？
2783
modelscope-funasr有没有开源的语音唤醒，自定义唤醒？
388
请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
1121
练的pth模型文件，怎么转成bin文件？
856
gpt3,加载数据时，MsDataset.load报错
1146
modelscope-funasr实时ASR的微调该怎么操作？
504
modelscope-funasr的 sense voice和funasr的底层asr能力是一样吗？
231
在modelscope-funasr中找不到有效的 OpenPGP 数据，如何解决？
65
展开全部
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
1385
告别Hugging Face模型下载难题：掌握高效下载策略，畅享无缝开发体验
343
RAG+AI工作流+Agent：LLM框架该如何选择，全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐
607
如何使用自然语言处理库`nltk`进行文本的基本处理
29
【AI 技术分享】大模型与数据检索的探索实践
162
RAG：AI大模型联合向量数据库和 Llama-index，助力检索增强生成技术
619
LLM 大模型学习必知必会系列(一)：大模型基础知识篇
1304
ModelScope X 昇腾910快速上手
524
基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手（检索增强生成(RAG)大模型）
857
检索增强生成(RAG)实践：基于LlamaIndex和Qwen1.5搭建智能问答系统
1044
展开全部
