本地安装使用ModelScope

简介: 本地安装使用ModelScope

通过ModelScope的在线NoteBook环境体验了一把AI开发,还不过瘾,必须要在本地搞一下啊,下面按照ModelScope的本地环境安装指南加上自己的多次错误修复,完成了一个简单的例子。

本人环境是Windows 10,python 3.8.2

1、首先安装升级一下pip,不知道为啥要升级,反正就升级吧,通过以下语句升级pip:

python.exe -m pip install -i https://mirrors.bfsu.edu.cn/pypi/web/simple --upgrade pip

我这里使用的源是bfsu。tsinghua那个巨慢,不知道啥问题,可供大家参考的源有"-i https://pypi.tuna.tsinghua.edu.cn/simple","-i https://mirrors.ustc.edu.cn/pypi/web/simple"选择一个快的吧,如果这几个都不快,再去找,反正一定要快,要不然不是超时就是出错,反正这件事情挺影响积极性的。

2、升级好了pip以后就按照pytorch和Tensorflow,两个都安装,要不然会报错。

pip3 install torch torchvision torchaudio -i https://mirrors.bfsu.edu.cn/pypi/web/simple

pip3 install tensorflow -i https://mirrors.bfsu.edu.cn/pypi/web/simple

3、然后安装modelscope

pip3 install modelscope -i https://mirrors.bfsu.edu.cn/pypi/web/simple

4、找一个例子开始跑,比如我找的是简单的分词 https://modelscope.cn/docs/wordsegmentation

frommodelscope.modelsimportModelfrommodelscope.pipelinesimportpipelinefrommodelscope.utils.constantimportTasksfrommodelscope.preprocessorsimportTokenClassificationTransformersPreprocessormodel_id='damo/nlp_structbert_word-segmentation_chinese-base'model=Model.from_pretrained(model_id)
tokenizer=TokenClassificationTransformersPreprocessor(model.model_dir)
pipeline_ins=pipeline(task=Tasks.word_segmentation, model=model, preprocessor=tokenizer)
result=pipeline_ins(input="今天天气不错,适合出去游玩")
print (result)

5、运行报错,报了两个错,不是在一起报的,反正一个一个解决,如下:

TypeError: __init__() got an unexpected keyword argument 'allowed_methods'
No module named 'transformers'

6、解决以上的错误:

pip3 install  -i https://mirrors.bfsu.edu.cn/pypi/web/simple --upgrade urllib3

pip3 install  -i https://mirrors.bfsu.edu.cn/pypi/web/simple --upgrade requests

pip3 install transformers -i https://mirrors.bfsu.edu.cn/pypi/web/simple 

7、再次运行上面的python代码,得到如下结果:

1679035574476.png

貌似靠谱的,哈哈。有人提出怀疑,分词不是有java一堆库吗,这玩意跟AI有啥关系?我也不知道,再找AI的例子跑跑吧,至少现在ModelScope搭建完毕,继续努力


目录
相关文章
|
自然语言处理 PyTorch 算法框架/工具
modelscope问题之安装失败如何解决
本合集将提供ModelScope安装步骤、配置要求和环境准备,以便用户顺利启动ModelScope进行模型开发和测试。
2225 1
|
文字识别 并行计算 语音技术
ModelScope问题之下载模型文件报错如何解决
ModelScope模型报错是指在使用ModelScope平台进行模型训练或部署时遇到的错误和问题;本合集将收集ModelScope模型报错的常见情况和排查方法,帮助用户快速定位问题并采取有效措施。
3531 3
|
自然语言处理 PyTorch 算法框架/工具
安装ModelScope问题之官方指导的环境搭建会报错如何解决
本合集将提供ModelScope安装步骤、配置要求和环境准备,以便用户顺利启动ModelScope进行模型开发和测试。
489 0
|
安全 Linux iOS开发
Anaconda下载及安装保姆级教程(详细图文)
Anaconda下载及安装保姆级教程(详细图文)
35126 1
Anaconda下载及安装保姆级教程(详细图文)
|
存储 JSON 自然语言处理
手把手教你使用ModelScope训练一个文本分类模型
手把手教你使用ModelScope训练一个文本分类模型
|
机器学习/深度学习 数据采集 自然语言处理
ModelScope保姆式教程带你玩转语言生成模型
PALM预训练语言生成模型是针对实际场景中常见的文本生成需求所设计的一个模型。模型利用大量无监督数据,通过结合自编码和自回归任务进行预训练,更贴合下游生成任务所同时需要的理解和生成能力。
34360 4
ModelScope保姆式教程带你玩转语言生成模型
|
开发者 异构计算
现在,一行命令使用Ollama运行任意魔搭GGUF模型
为了让开发者更方便地把这些模型用起来,社区最近支持了Ollama框架和ModelScope平台的链接,通过简单的 ollama run命令,就能直接加载运行ModelScope模型库上的GGUF模型。
|
人工智能 自然语言处理 并行计算
探索大模型部署:基于 VLLM 和 ModelScope 与 Qwen2.5 在双 32G VGPU 上的实践之旅
本文介绍了使用 `VLLM` 和 `ModelScope` 部署 `Qwen2.5` 大模型的实践过程,包括环境搭建、模型下载和在双 32G VGPU 上的成功部署,展现了高性能计算与大模型结合的强大力量。
3115 3