VGG的成功之处在哪

简介: VGG的成功之处在哪

VGG 网络可以分为两部分:第⼀部分主要由卷积层和汇聚层组成,第⼆部分由全连接层组成

VGG与AlexNet相比,VGG采用小的卷积核和池化层,层数更深,通道数更多,其中每个通道代表着一个FeatureMap,更多的通道数表示更丰富的图像特征。VGG网络第一层的通道数为64,后面每层都进行了翻倍,最多到512个通道,通道数的增加,使得更多的信息可以被提取出来。

对于给定的感受野,VGG可以使用小卷积核代替大卷积核,比如2个3x3的卷积核可以代替一个5x5的卷积核、3个3x3的卷积核可以代替一个7x7的卷积核。

如图所示:

采用堆积的小卷积核优于采用大的卷积核,因为可以增加网络深度来保证学习更复杂的模式,而且代价还比较小(参数更少)。

大卷积核带来的特征图和卷积核得参数量并不大,无论是单独去看卷积核参数或者特征图参数,不同kernel大小下这二者加和的结构都是30万的参数量,也就是说,无论大的卷积核还是小的,对参数量来说影响不大甚至持平。

卷积层的参数减少。相比5x5、7x7和11x11的大卷积核,3x3明显地减少了参数量,这点可以回过头去看上面的表格。比方input channel数和output channel数均为C,那么3层conv3x3卷积所需要的卷积层参数是:3x(Cx3x3xC)=27C2,而一层conv7x7卷积所需要的卷积层参数是:Cx7x7xC=49C2。conv7x7的卷积核参数比conv3x3多了(49-27)/27x100% ≈ 81%;

增大的反而是卷积的计算量,在表格中列出了计算量的公式,最后要乘以2,代表乘加操作。为了尽可能证一致,这里所有卷积核使用的stride均为4,可以看到,conv3x3、conv5x5、conv7x7、conv9x9、conv11x11的计算规模依次为:1600万,4500万,1.4亿、2亿,这种规模下的卷积,虽然参数量增长不大,但是计算量是惊人的。



总结:

  1. 同样stride下,不同卷积核大小的特征图和卷积参数差别不大;
  2. 越大的卷积核计算量越大
  3. 其实一个关键的点——多个小卷积核的堆叠比单一大卷积核带来了精度提升,这也是最重要的一点。
  4. 采用小卷积核的优点:

采用小卷积核,使层数增加,可以使用更多的激活函数,获取更多的特征,更强的辨识能力以及减少参数。

目录
相关文章
|
6月前
LeNet-5
【7月更文挑战第25天】LeNet-5。
39 2
|
8月前
|
算法框架/工具
使用MobileNetV3的PSPNet网络结构
使用MobileNetV3的PSPNet网络结构
53 1
|
机器学习/深度学习 数据挖掘 PyTorch
图像分类经典神经网络大总结(AlexNet、VGG 、GoogLeNet 、ResNet、 DenseNet、SENet、ResNeXt )
图像分类经典神经网络大总结(AlexNet、VGG 、GoogLeNet 、ResNet、 DenseNet、SENet、ResNeXt )
7856 1
图像分类经典神经网络大总结(AlexNet、VGG 、GoogLeNet 、ResNet、 DenseNet、SENet、ResNeXt )
|
机器学习/深度学习 人工智能 算法
CNN、ResNet学习笔记
CNN、ResNet学习笔记
178 0
|
网络架构
VGG为什么叫做VGG,VGG的由来
VGG为什么叫做VGG,VGG的由来
194 0
VGG为什么叫做VGG,VGG的由来
|
机器学习/深度学习 计算机视觉 网络架构
Backbone 网络-ResNet v2 详解
Backbone 网络-ResNet v2 详解
343 0
|
机器学习/深度学习 存储 计算机视觉
Backbone 网络-DenseNet 详解
Backbone 网络-DenseNet 详解
257 0
|
算法框架/工具 计算机视觉
《ImageNetVGGNet,ResNet,Inception,and Xception with Keras》电子版地址
ImageNet:VGGNet,ResNet,Inception,and Xception with Keras
82 0
《ImageNetVGGNet,ResNet,Inception,and Xception with Keras》电子版地址
|
机器学习/深度学习 人工智能 计算机视觉
Inception-v4 和 Inception-ResNet
Inception-v3 结构的复杂程度以后够复杂了,但是它还有几个升级版本,就是 Inception-v4,Inception-ResNet-v1 和 Inception-ResNet-v2。这几个升级版本都出自同 一篇论文《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》
193 0
Inception-v4 和 Inception-ResNet
ResNet系列网络结构介绍
ResNet系列网络结构介绍
825 0
ResNet系列网络结构介绍