通过ModelScope的在线NoteBook环境体验了一把AI开发,还不过瘾,必须要在本地搞一下啊,下面按照ModelScope的本地环境安装指南加上自己的多次错误修复,完成了一个简单的例子。
本人环境是Windows 10,python 3.8.2
1、首先安装升级一下pip,不知道为啥要升级,反正就升级吧,通过以下语句升级pip:
python.exe -m pip install -i https://mirrors.bfsu.edu.cn/pypi/web/simple --upgrade pip
我这里使用的源是bfsu。tsinghua那个巨慢,不知道啥问题,可供大家参考的源有"-i https://pypi.tuna.tsinghua.edu.cn/simple","-i https://mirrors.ustc.edu.cn/pypi/web/simple"选择一个快的吧,如果这几个都不快,再去找,反正一定要快,要不然不是超时就是出错,反正这件事情挺影响积极性的。
2、升级好了pip以后就按照pytorch和Tensorflow,两个都安装,要不然会报错。
pip3 install torch torchvision torchaudio -i https://mirrors.bfsu.edu.cn/pypi/web/simple
pip3 install tensorflow -i https://mirrors.bfsu.edu.cn/pypi/web/simple
3、然后安装modelscope
pip3 install modelscope -i https://mirrors.bfsu.edu.cn/pypi/web/simple
4、找一个例子开始跑,比如我找的是简单的分词 https://modelscope.cn/docs/wordsegmentation
frommodelscope.modelsimportModelfrommodelscope.pipelinesimportpipelinefrommodelscope.utils.constantimportTasksfrommodelscope.preprocessorsimportTokenClassificationTransformersPreprocessormodel_id='damo/nlp_structbert_word-segmentation_chinese-base'model=Model.from_pretrained(model_id) tokenizer=TokenClassificationTransformersPreprocessor(model.model_dir) pipeline_ins=pipeline(task=Tasks.word_segmentation, model=model, preprocessor=tokenizer) result=pipeline_ins(input="今天天气不错,适合出去游玩") print (result)
5、运行报错,报了两个错,不是在一起报的,反正一个一个解决,如下:
TypeError: __init__() got an unexpected keyword argument 'allowed_methods' No module named 'transformers'
6、解决以上的错误:
pip3 install -i https://mirrors.bfsu.edu.cn/pypi/web/simple --upgrade urllib3
pip3 install -i https://mirrors.bfsu.edu.cn/pypi/web/simple --upgrade requests
pip3 install transformers -i https://mirrors.bfsu.edu.cn/pypi/web/simple
7、再次运行上面的python代码,得到如下结果:
貌似靠谱的,哈哈。有人提出怀疑,分词不是有java一堆库吗,这玩意跟AI有啥关系?我也不知道,再找AI的例子跑跑吧,至少现在ModelScope搭建完毕,继续努力