Pytorch学习笔记(十):Torch对张量的计算、Numpy对数组的计算、它们之间的转换

简介: 这篇文章是关于PyTorch张量和Numpy数组的计算方法及其相互转换的详细学习笔记。

Torch对张量的计算

#pytorch张量
import torch
'''张量定义'''
a=torch.FloatTensor(2,3)#定义一个两行三列的张量
b=torch.FloatTensor([2,3,4,5])#定义一个四行一列的张量,并给每个数字赋值
c=torch.rand(2,3)#定义一个两行三列的张量,并以0~1之间的随机数填充
d=torch.randn(2,3)#定义一个两行三列的张量,并以均值为0,且方差为1的正态分布随机数填充
e=torch.arange(1,20,1)#定义从起始值(参数一),到结束值(参数二),以步长(参数三)为间隔的单列多行张量
f=torch.zeros(2,3)#定义一个两行三列的张量,初始化为0,效果同a
'''张量计算'''
g=torch.abs(d)#返回张量绝对值
g=torch.add(g,d)#两同维度张量值对应相加
g=torch.add(g,10)#张量值全部加10
#另外div为除法,mul为乘法,用法皆同加法
g=torch.clamp(g,-0.1,0.1)#张量裁剪,第二个参数和第三个参数分别为上下边界
g=torch.pow(g,2)#求幂,第二个参数为幂数
'''矩阵乘法'''
a=torch.randn(2,3)
b=torch.randn(3,2)
c=torch.mm(a,b)

Numpy对数组的计算

#numpy
import numpy as np
'''numpy定义'''
a=np.array([2,3,4]) #创造秩为1,内容为2,3,4的数组
b=np.array([(2,3,4), (4,5,6)]) #创造秩为2的数组,也就是二维数组
c=np.array([[2,3,4], [4,5,6]]) #同上,只是写法不一样
d=np.array([[2,3,4], [4,5,6]],dtype=complex) #显式指明数据类型
e=np.zeros((3,4))#创造一个3行4列的矩阵,并初始化为0,数据类型默认为float64,可自定义:dtype=np.int32
f=np.ones((3,4))#创造一个3行4列的矩阵,并初始化为1
g=np.empty((3,4))#创造一个3行4列的矩阵,未初始化,为随机值
h=np.arange(5)#定义从0开始,步长为1的秩为1的5个数的数组
i=np.arange(10,30,5)#定义从起始值(参数一),到结束值(参数二),以步长(参数三)为间隔的秩为1的数组
j=np.linspace(0,2,9)#定义从0到2(包括两者)间的秩为1的9个数的数组
'''numpy计算'''
k=e-f#减法计算,按位相减
l=h**2#平方运算,按位求平方
n=np.sin(l)#三角函数运算,按位求三角函数
m=h<3#比较逻辑运算,按位比较,满足为真,不满足为假
o=b*c#乘法运算,按位相乘
p=np.transpose(c)#矩阵转置
q=b.dot(p)#矩阵相乘
r=h.sum()#数组全体数求和
s=h.min()#取数组中的最小值
t=h.max()#取数组中的最大值
'''numpy索引'''
u=np.arange(10)**3
print(u[2])#索引数组的第二项
print(u[2:5])#索引数组第二到五项
u[0:6:2]=-100#从开始位置到索引为6的元素为止,每隔一个元素将其赋值为-100(第一个参数可以不写,则默认为0)
v=u[::-1]#反转u
'''遍历数组'''
for i in u:
    print(i)
'''用函数创建数组'''
def f(x,y):
    return 10*x+y
w=np.fromfunction(f,(5,4),dtype=int)
print(w[2,3])#二维数组数值索引
print(w[0:5,1])#二维数组0~4行第二个元素索引
print(w[:,1])#二维数组每行第二个元素索引
print(w[1:3,:])#二维数组第2到3行索引
print(w[-1])#二维数组最后一行索引,等价于print(w[-1,:])
print(d.dtype)#获得数据类型

张量和数组的转换

import torch
'''numpy转tensor'''
color = np.array([[[0, 0, 0], [128, 0, 0], [0, 128, 0]],[[0, 0, 0], [128, 0, 0], [0, 128, 0]]])
b = torch.from_numpy(color)
'''将矩阵展开成一维'''
target = b.contiguous() .view(-1)
'''将矩阵展前面的维度展开,保持最后一维'''
target = b.contiguous() .view(-1,3)
'''维度转换'''
outlabimg = b.transpose(0, 1)#第0维和第1维互换
'''相同数值统计'''
a=torch.FloatTensor([[[2,3,0,5],[2,3,0,5]],[[2,3,0,5],[2,3,0,5]]])
b=torch.FloatTensor([[[2,3,4,5],[2,3,0,5]],[[2,3,0,5],[2,3,0,5]]])
equl=(a==b).sum()
print(a.shape)
print(equl)
目录
相关文章
|
4月前
|
PyTorch 算法框架/工具
Pytorch学习笔记(五):nn.AdaptiveAvgPool2d()函数详解
PyTorch中的`nn.AdaptiveAvgPool2d()`函数用于实现自适应平均池化,能够将输入特征图调整到指定的输出尺寸,而不需要手动计算池化核大小和步长。
337 1
Pytorch学习笔记(五):nn.AdaptiveAvgPool2d()函数详解
|
4月前
|
算法 PyTorch 算法框架/工具
Pytorch学习笔记(九):Pytorch模型的FLOPs、模型参数量等信息输出(torchstat、thop、ptflops、torchsummary)
本文介绍了如何使用torchstat、thop、ptflops和torchsummary等工具来计算Pytorch模型的FLOPs、模型参数量等信息。
593 2
|
4月前
|
PyTorch 算法框架/工具
Pytorch学习笔记(六):view()和nn.Linear()函数详解
这篇博客文章详细介绍了PyTorch中的`view()`和`nn.Linear()`函数,包括它们的语法格式、参数解释和具体代码示例。`view()`函数用于调整张量的形状,而`nn.Linear()`则作为全连接层,用于固定输出通道数。
201 0
Pytorch学习笔记(六):view()和nn.Linear()函数详解
|
4月前
|
PyTorch 算法框架/工具
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
本文介绍了PyTorch中的F.softmax()和F.log_softmax()函数的语法、参数和使用示例,解释了它们在进行归一化处理时的作用和区别。
607 1
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
|
4月前
|
机器学习/深度学习 PyTorch 算法框架/工具
Pytorch学习笔记(八):nn.ModuleList和nn.Sequential函数详解
PyTorch中的nn.ModuleList和nn.Sequential函数,包括它们的语法格式、参数解释和具体代码示例,展示了如何使用这些函数来构建和管理神经网络模型。
312 1
|
16天前
|
机器学习/深度学习 搜索推荐 PyTorch
基于昇腾用PyTorch实现传统CTR模型WideDeep网络
本文介绍了如何在昇腾平台上使用PyTorch实现经典的WideDeep网络模型,以处理推荐系统中的点击率(CTR)预测问题。
184 66
|
2月前
|
机器学习/深度学习 人工智能 PyTorch
Transformer模型变长序列优化:解析PyTorch上的FlashAttention2与xFormers
本文探讨了Transformer模型中变长输入序列的优化策略,旨在解决深度学习中常见的计算效率问题。文章首先介绍了批处理变长输入的技术挑战,特别是填充方法导致的资源浪费。随后,提出了多种优化技术,包括动态填充、PyTorch NestedTensors、FlashAttention2和XFormers的memory_efficient_attention。这些技术通过减少冗余计算、优化内存管理和改进计算模式,显著提升了模型的性能。实验结果显示,使用FlashAttention2和无填充策略的组合可以将步骤时间减少至323毫秒,相比未优化版本提升了约2.5倍。
84 3
Transformer模型变长序列优化:解析PyTorch上的FlashAttention2与xFormers
|
4月前
|
机器学习/深度学习 自然语言处理 监控
利用 PyTorch Lightning 搭建一个文本分类模型
利用 PyTorch Lightning 搭建一个文本分类模型
123 7
利用 PyTorch Lightning 搭建一个文本分类模型
|
4月前
|
机器学习/深度学习 自然语言处理 数据建模
三种Transformer模型中的注意力机制介绍及Pytorch实现:从自注意力到因果自注意力
本文深入探讨了Transformer模型中的三种关键注意力机制:自注意力、交叉注意力和因果自注意力,这些机制是GPT-4、Llama等大型语言模型的核心。文章不仅讲解了理论概念,还通过Python和PyTorch从零开始实现这些机制,帮助读者深入理解其内部工作原理。自注意力机制通过整合上下文信息增强了输入嵌入,多头注意力则通过多个并行的注意力头捕捉不同类型的依赖关系。交叉注意力则允许模型在两个不同输入序列间传递信息,适用于机器翻译和图像描述等任务。因果自注意力确保模型在生成文本时仅考虑先前的上下文,适用于解码器风格的模型。通过本文的详细解析和代码实现,读者可以全面掌握这些机制的应用潜力。
284 3
三种Transformer模型中的注意力机制介绍及Pytorch实现:从自注意力到因果自注意力
|
5月前
|
机器学习/深度学习 PyTorch 调度
在Pytorch中为不同层设置不同学习率来提升性能,优化深度学习模型
在深度学习中,学习率作为关键超参数对模型收敛速度和性能至关重要。传统方法采用统一学习率,但研究表明为不同层设置差异化学习率能显著提升性能。本文探讨了这一策略的理论基础及PyTorch实现方法,包括模型定义、参数分组、优化器配置及训练流程。通过示例展示了如何为ResNet18设置不同层的学习率,并介绍了渐进式解冻和层适应学习率等高级技巧,帮助研究者更好地优化模型训练。
390 4
在Pytorch中为不同层设置不同学习率来提升性能,优化深度学习模型