跟随【导师不教?我来教!】同济计算机博士半小时就教会了我五大深度神经网络,CNN/RNN/GAN/transformer/LSTM一次学会,简直不要太强!_哔哩哔哩_bilibili了解的五大神经网络,整理笔记如下:
视频是唐宇迪博士讲解的,但是这个up主发的有一种东拼西凑的感觉,给人感觉不是很完整
一、卷积神经网络(优势:计算机视觉)
1、卷积的作用:特征提取,本质就是提取卷积核那个大小区域中的特征值
2、利用不同的卷积核对同一数据进行提取,可以得到多维度的特征图,丰富特征内容
3、边缘填充(padding)可以解决边缘特征在提取时权重不高的问题
4、卷积的结果公式:
其中size'是下一次特征图长或宽,size是这一次特征图的长或宽,kernelsize是卷积核大小,padding留白行数,step为卷积步长
5、为了减少计算量,在一轮卷积中,卷积核的参数是共享的,不会随着位置改变而改变
6、池化层的作用:特征降维
7、通常说几层神经网络的时候,只有带权值与参数的层会被计入,如卷积层与线性层,如池化层这种不带权值与参数的层不会被计入
8、经典的CNN网络模型:AlexNet、VGG、ResNet(利用残差相加提供了增加网络深度的方法)
9、感受野:特征图中特征所代表的原图中区域的大小
10、具有相同的感受野的多个小卷积核组合与一个大卷积核相比,所需要的参数少,特征提取更细致,加入的非线性变换也更多,所以现在基本上都使用小卷积核来进行卷积
二、循环神经网络(RNN)(优势:时间序列问题处理,多用于NLP)
1、输入数据为特征向量,并且按照时间顺序排列
2、RNN网络缺点是会记忆之前所有的数据,LSTM模型通过加入遗忘门解决了这个问题
3、示例:Word2Vec 文本向量化:创建一个多维的文本空间,一个向量就代表一个词,词义越相近的词在文本空间中的距离也就越近
4、Word2Vec模型中,反向传播的过程中,不仅会更新神经网络,还会更新输入的词向量
5、RNN经典模型:CBOW,skipgram
6、由于数据量大,模型构建方案一般不使用输入一词输出预测词的模式,而是使用输入前一词A和后一词B,输出B在A后的概率,但是由于数据集均为通顺语句采集而来,概率均为1,所以需要人为在数据集中加入错误语句,并且标记概率为0,被称为负采样
三、对抗生成网络(GNN)
1、对抗生成网络分为生成器、判别器、损失函数,其中生成器负责利用噪声生成数据,产生以假乱真的效果,判别器需要火眼金睛,分辨真实数据与虚假数据,损失函数负责让生成器更加真实,让判别器更加强大。
四、Teansformer(功能强大,但是需要很大数据来训练)
1、Transformer由编码器(Encoder)和解码器(Decoder)组成
2、Transfromer的本质就是重组输入的向量,以得到更加完美的特征向量
3、Transfromer的工作流程:
3.1、获取输入句子的每一个单词表示向量X(由单词特征加上位置特征得到)
3.2、将得到的单词表示向量矩阵X传入Encoder中,输出编码矩阵C,C与输入的单词矩阵X维度完全一致
3.3、将矩阵C传递到Decoder中,Decoder依次根据当前翻译过的单词预测下一个单词。
4、Transformer的内部结构如下图所示
5、在训练时,Decoder中的第一个Multi-Head Attention采用mask模式,即在预测到第i+1个单词时候,需要掩盖i+1之后的单词。
6、单词的特征获取方法有很多种,比如Word2Vec,Glov算法预训练,或者也可以使用Transformer训练得到,位置特征则可以通过公式得到,公式如下:
7、Add是残差链接操作,Norm是LayerNormalization归一化操作,Feed Forward层是两个全连接层,第一个全连接层使用ReLU进行非线性激活,第二个不激活
8、Transformer内部结构存在多个Multi-Head Attention结构,这个结构是由多个Attention组成的多头注意力机制,Attention 注意力机制为Transformer的重点,它可以使模型更加关注那些比较好的特征,忽略差一些的特征
9、Attention内部结构如下图所示
10、Attention接收的输入为单词特征矩阵X或者上一个Encoder block的输入,经过三个矩阵WQ、WK、WV的变换得到了三个输入Q、K、V然后经过内部计算得到输出Z
11、Attention内部计算的公式可以概况为
12、Multi-Head Attention将多个Attention的输出拼接在一起传入一个线性层,得到最终的输出Z
13、Transformer与RNN相比,不能利用单词顺序特征,所以需要在输入加入位置特征,经过实验,加入位置特征比不加位置特征的效果好三个百分点,位置特征的编码方式不对模型产生影响。
14、VIT是Transfromer在CV领域的应用,VIT第一层的感受野就可以覆盖整张图
15、VIT的结构如下:
16、VIT将图片分为多个patch(16*16)然后将patch投影为多个固定长度的向量送入Transformer,利用Transformer的Encoder进行编码,并且在输入序列的0位置加入一个特殊的token,token对应的输出就可以代表图片的类别
17、Transformer需要大量的数据,比CNN多得多,需要谷歌那个级别的数据量
18、TNT模型:VIT将图片分为了16*16的多个patch,TNT认为每个patch还是太大了,可以继续进行分割
19、TNT模型方法:在VIT基础上,将拆分后的patch当作一张图像进行transformer进一步分割,划分为新的向量,通过全连接改变输出特征大小,使其重组后的特征与patch编码大小相同,最后与元素输入patch向量进行相加
20、DETR模型,用于目标检测,结构如下
五、LSTM长短期记忆
这部分基本是代码解析了,就没有记录,我认为LSTM其实就是RNN的一个分支。