基于Pytorch学习Bert模型配置运行环境详细流程

简介: 基于Pytorch学习Bert模型配置运行环境详细流程

BERT是2018年10月由Google AI研究院提出的一种预训练模型。BERT的全称是Bidirectional Encoder Representation from Transformers。BERT在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩: 全部两个衡量指标上全面超越人类,并且在11种不同NLP测试中创出SOTA表现,包括将GLUE基准推高至80.4% (绝对改进7.6%),MultiNLI准确度达到86.7% (绝对改进5.6%),成为NLP发展史上的里程碑式的模型成就。

一、安装配置初步运行环境

安装文章链接: 点击打开《基于Windows中学习Deep Learning之搭建Anaconda+Pytorch(Cuda+Cudnn)+Pycharm工具和配置环境完整最简版》文章

二、根据上面的文章配置好初步环境后,复制粘贴下面命令打开“D:\Anaconda\Scripts”路径下的控制平台CMD运行安装transformers,若出现下面图片中的错误无法正常安装则继续往后操作进行,没出现问题直接跳转到第九步(注意:博主配置运行环境是在Anaconda默认base的环境和新建的python虚拟环境transformers下都进行配置,其实可以只配置一个就行,一般选择新建的python虚拟环境,然后将配置好的虚拟环境的python运行环境和Pycharm对应的项目进行连接,然后即可正常运行项目程序)。

pip install transformers

三、打开Anaconda Prompt,依次复制下面的命令运行建立Anaconda的python虚拟环境transformers,然后将“D:\Anaconda\envs\transformers\Scripts”添加到环境变量PATH中。注意:下面命令中的python=3.7是根据博主安装的python版本对应的,若你安装的是其他版本可以进行对应的修改。

conda create -n transformers python=3.7
conda env list

四、复制粘贴下面命令打开“D:\Anaconda\envs\transformers\Scripts”路径下的控制平台CMD运行安装transformers,等待一分钟左右进行安装。

pip install transformers

五、下载完成后将对应下载的文件复制粘贴到“D:\Anaconda\Scripts”路径下,复制粘贴过程中若提示重复的文件,要选择直接跳过。

六、复制粘贴下面命令打开“D:\Anaconda\Scripts”路径下的控制平台CMD运行安装transformers,可能会出现下面图片中的部分小问题,如:ERROR: Cannot uninstall ‘PyYAML’。

pip install transformers

七、复制粘贴下面命令继续运行即可解决上面的小问题。

pip install --ignore-installed PyYAML

八、复制粘贴下面命令运行,等待十秒成功安装见下图。

pip install transformers

九、测试安装transformers是否成功,运行下面的代码是否报错,若报错表示没有安装成功见下图。

from transformers import BertTokenizer, BertModel, BertForMaskedLM

十、若没有报错表示安装成功,见下图。

注意:有些涉及Bert模型配置运行环境的文章和github仓库依旧使用下面的命令进行环境的安装,但是总是提示无法安装,原因是Hugging Face的这款BERT工具以前称为pytorch-transformers和pytorch-pretrained-bert,在不断的更新迭代中已经更名为transformers这个名字,自然安装pytorch-pretrained-bert是无法正常安装的,所以要改成安装transformers。

pip install pytorch-pretrained-bert

pip install transformers


相关文章
|
23天前
|
机器学习/深度学习 PyTorch 编译器
PyTorch 与 TorchScript:模型的序列化与加速
【8月更文第27天】PyTorch 是一个非常流行的深度学习框架,它以其灵活性和易用性而著称。然而,当涉及到模型的部署和性能优化时,PyTorch 的动态计算图可能会带来一些挑战。为了解决这些问题,PyTorch 引入了 TorchScript,这是一个用于序列化和优化 PyTorch 模型的工具。本文将详细介绍如何使用 TorchScript 来序列化 PyTorch 模型以及如何加速模型的执行。
34 4
|
21天前
|
机器学习/深度学习 边缘计算 PyTorch
PyTorch 与边缘计算:将深度学习模型部署到嵌入式设备
【8月更文第29天】随着物联网技术的发展,越来越多的数据处理任务开始在边缘设备上执行,以减少网络延迟、降低带宽成本并提高隐私保护水平。PyTorch 是一个广泛使用的深度学习框架,它不仅支持高效的模型训练,还提供了多种工具帮助开发者将模型部署到边缘设备。本文将探讨如何将PyTorch模型高效地部署到嵌入式设备上,并通过一个具体的示例来展示整个流程。
82 1
|
21天前
|
机器学习/深度学习 算法 PyTorch
PyTorch Lightning:简化研究到生产的工作流程
【8月更文第29天】深度学习项目往往面临着从研究阶段到生产部署的挑战。研究人员和工程师需要处理大量的工程问题,比如数据加载、模型训练、性能优化等。PyTorch Lightning 是一个轻量级的封装库,旨在通过减少样板代码的数量来简化 PyTorch 的使用,从而让开发者更专注于算法本身而不是工程细节。
43 1
|
23天前
|
机器学习/深度学习 自然语言处理 PyTorch
PyTorch与Hugging Face Transformers:快速构建先进的NLP模型
【8月更文第27天】随着自然语言处理(NLP)技术的快速发展,深度学习模型已经成为了构建高质量NLP应用程序的关键。PyTorch 作为一种强大的深度学习框架,提供了灵活的 API 和高效的性能,非常适合于构建复杂的 NLP 模型。Hugging Face Transformers 库则是目前最流行的预训练模型库之一,它为 PyTorch 提供了大量的预训练模型和工具,极大地简化了模型训练和部署的过程。
51 2
|
23天前
|
机器学习/深度学习 边缘计算 PyTorch
PyTorch 与 ONNX:模型的跨平台部署策略
【8月更文第27天】深度学习模型的训练通常是在具有强大计算能力的平台上完成的,比如配备有高性能 GPU 的服务器。然而,为了将这些模型应用到实际产品中,往往需要将其部署到各种不同的设备上,包括移动设备、边缘计算设备甚至是嵌入式系统。这就需要一种能够在多种平台上运行的模型格式。ONNX(Open Neural Network Exchange)作为一种开放的标准,旨在解决模型的可移植性问题,使得开发者可以在不同的框架之间无缝迁移模型。本文将介绍如何使用 PyTorch 将训练好的模型导出为 ONNX 格式,并进一步探讨如何在不同平台上部署这些模型。
59 2
|
23天前
|
机器学习/深度学习 数据采集 PyTorch
构建高效 PyTorch 模型:内存管理和优化技巧
【8月更文第27天】PyTorch 是一个强大的深度学习框架,被广泛用于构建复杂的神经网络模型。然而,在处理大规模数据集或使用高性能 GPU 进行训练时,有效的内存管理对于提升模型训练效率至关重要。本文将探讨如何在 PyTorch 中有效地管理内存,并提供一些优化技巧及代码示例。
38 1
|
1月前
|
机器学习/深度学习 人工智能 PyTorch
AI智能体研发之路-模型篇(五):pytorch vs tensorflow框架DNN网络结构源码级对比
AI智能体研发之路-模型篇(五):pytorch vs tensorflow框架DNN网络结构源码级对比
57 1
|
22天前
|
PyTorch 算法框架/工具 Python
安装anaconda配置pytorch虚拟环境遇到的问题及解决办法
本文介绍了在配置Anaconda时遇到`PackagesNotFoundError`的问题,并提供了通过添加`conda-forge`通道和创建指定Python版本的PyTorch虚拟环境来解决这个问题的方法。
|
24天前
|
算法 异构计算
自研分布式训练框架EPL问题之帮助加速Bert Large模型的训练如何解决
自研分布式训练框架EPL问题之帮助加速Bert Large模型的训练如何解决
|
1月前
|
机器学习/深度学习 存储 自然语言处理
【NLP-新闻文本分类】3 Bert模型的对抗训练
详细介绍了使用BERT模型进行新闻文本分类的过程,包括数据集预处理、使用预处理数据训练BERT语料库、加载语料库和词典后用原始数据训练BERT模型,以及模型测试。
37 1