卷积算子应用举例
下面介绍卷积算子在图片中应用的三个案例，并观察其计算结果。
案例1——简单的黑白边界检测
下面是使用Conv2D算子完成一个图像边界检测的任务。图像左边为光亮部分，右边为黑暗部分，需要检测出光亮跟黑暗的分界处。
设置宽度方向的卷积核为[1,0,−1]，此卷积核会将宽度方向间隔为1的两个像素点的数值相减。当卷积核在图片上滑动时，如果它所覆盖的像素点位于亮度相同的区域，则左右间隔为1的两个像素点数值的差为0。只有当卷积核覆盖的像素点有的处于光亮区域，有的处在黑暗区域时，左右间隔为1的两个点像素值的差才不为0。将此卷积核作用到图片上，输出特征图上只有对应黑白分界线的地方像素值才不为0。具体代码如下所示，结果输出在下方的图案中。
In [1]
import matplotlib.pyplot as plt import numpy as np import paddle from paddle.nn import Conv2D from paddle.nn.initializer import Assign %matplotlib inline # 创建初始化权重参数w w = np.array([1, 0, -1], dtype='float32') # 将权重参数调整成维度为[cout, cin, kh, kw]的四维张量 w = w.reshape([1, 1, 1, 3]) # 创建卷积算子，设置输出通道数，卷积核大小，和初始化权重参数 # kernel_size = [1, 3]表示kh = 1, kw=3 # 创建卷积算子的时候，通过参数属性weight_attr指定参数初始化方式 # 这里的初始化方式时，从numpy.ndarray初始化卷积参数 conv = Conv2D(in_channels=1, out_channels=1, kernel_size=[1, 3], weight_attr=paddle.ParamAttr( initializer=Assign(value=w))) # 创建输入图片，图片左边的像素点取值为1，右边的像素点取值为0 img = np.ones([50,50], dtype='float32') img[:, 30:] = 0. # 将图片形状调整为[N, C, H, W]的形式 x = img.reshape([1,1,50,50]) # 将numpy.ndarray转化成paddle中的tensor x = paddle.to_tensor(x) # 使用卷积算子作用在输入图片上 y = conv(x) # 将输出tensor转化为numpy.ndarray out = y.numpy() f = plt.subplot(121) f.set_title('input image', fontsize=15) plt.imshow(img, cmap='gray') f = plt.subplot(122) f.set_title('output featuremap', fontsize=15) # 卷积算子Conv2D输出数据形状为[N, C, H, W]形式 # 此处N, C=1，输出数据形状为[1, 1, H, W]，是4维数组 # 但是画图函数plt.imshow画灰度图时，只接受2维数组 # 通过numpy.squeeze函数将大小为1的维度消除 plt.imshow(out.squeeze(), cmap='gray') plt.show()
In [2]
# 查看卷积层的权重参数名字和数值 print(conv.weight) # 参看卷积层的偏置参数名字和数值 print(conv.bias)
案例2——图像中物体边缘检测
上面展示的是一个人为构造出来的简单图片，使用卷积网络检测图片明暗分界处的示例。对于真实的图片，也可以使用合适的卷积核(3*3卷积核的中间值是8，周围一圈的值是8个-1)对其进行操作，用来检测物体的外形轮廓，观察输出特征图跟原图之间的对应关系，如下代码所示：
In [4]
import matplotlib.pyplot as plt from PIL import Image import numpy as np import paddle from paddle.nn import Conv2D from paddle.nn.initializer import Assign img = Image.open('./work/images/section1/000000098520.jpg') # 设置卷积核参数 w = np.array([[-1,-1,-1], [-1,8,-1], [-1,-1,-1]], dtype='float32')/8 w = w.reshape([1, 1, 3, 3]) # 由于输入通道数是3，将卷积核的形状从[1,1,3,3]调整为[1,3,3,3] w = np.repeat(w, 3, axis=1) # 创建卷积算子，输出通道数为1，卷积核大小为3x3， # 并使用上面的设置好的数值作为卷积核权重的初始化参数 conv = Conv2D(in_channels=3, out_channels=1, kernel_size=[3, 3], weight_attr=paddle.ParamAttr( initializer=Assign(value=w))) # 将读入的图片转化为float32类型的numpy.ndarray x = np.array(img).astype('float32') # 图片读入成ndarry时，形状是[H, W, 3]， # 将通道这一维度调整到最前面 x = np.transpose(x, (2,0,1)) # 将数据形状调整为[N, C, H, W]格式 x = x.reshape(1, 3, img.height, img.width) x = paddle.to_tensor(x) y = conv(x) out = y.numpy() plt.figure(figsize=(20, 10)) f = plt.subplot(121) f.set_title('input image', fontsize=15) plt.imshow(img) f = plt.subplot(122) f.set_title('output feature map', fontsize=15) plt.imshow(out.squeeze(), cmap='gray') plt.show()
案例3——图像均值模糊
另外一种比较常见的卷积核（5*5的卷积核中每个值均为1）是用当前像素跟它邻域内的像素取平均，这样可以使图像上噪声比较大的点变得更平滑，如下代码所示：
In [5]
import paddle import matplotlib.pyplot as plt from PIL import Image import numpy as np from paddle.nn import Conv2D from paddle.nn.initializer import Assign # 读入图片并转成numpy.ndarray # 换成灰度图 img = Image.open('./work/images/section1/000000355610.jpg').convert('L') img = np.array(img) # 创建初始化参数 w = np.ones([1, 1, 5, 5], dtype = 'float32')/25 conv = Conv2D(in_channels=1, out_channels=1, kernel_size=[5, 5], weight_attr=paddle.ParamAttr( initializer=Assign(value=w))) x = img.astype('float32') x = x.reshape(1,1,img.shape[0], img.shape[1]) x = paddle.to_tensor(x) y = conv(x) out = y.numpy() plt.figure(figsize=(20, 12)) f = plt.subplot(121) f.set_title('input image') plt.imshow(img, cmap='gray') f = plt.subplot(122) f.set_title('output feature map') out = out.squeeze() plt.imshow(out, cmap='gray') plt.show()
池化（Pooling）
池化层的作用是进行特征选择，降低特征数量，从而减少参数数量。由于池化之后特征图会变得更小，如果后面连接的是全连接层，可以有效地减小神经元的个数，节省存储空间并提高计算效率。如图10所示，将一个2×2的区域池化成一个像素点。通常有两种方法，平均池化和最大池化。(感觉跟步幅很像，但是步幅会有信息丢失)
图10：池化
- 如图10（a）：平均池化。这里使用大小为 2 × 2的池化窗口，每次移动的步幅为2，对池化窗口覆盖区域内的像素取平均值，得到相应的输出特征图的像素值。
- 如图10（b）：最大池化。对池化窗口覆盖区域内的像素取最大值，得到输出特征图的像素值。当池化窗口在图片上滑动时，会得到整张输出特征图。池化窗口的大小称为池化大小，用 k h × k w表示。在卷积神经网络中用的比较多的是窗口大小为 2 × 2，步幅为2的池化。
与卷积核类似，池化窗口在图片上滑动时，每次移动的步长称为步幅，当宽和高方向的移动大小不一样时，分别用sw和sh表示。也可以对需要进行池化的图片进行填充，填充方式与卷积类似，假设在第一行之前填充ph1行，在最后一行后面填充ph2行。在第一列之前填充pw1列，在最后一列之后填充pw2列，则池化层的输出特征图大小为：
在卷积神经网络中，通常使用2×2大小的池化窗口，步幅也使用2，填充为0，则输出特征图的尺寸为：
Hout=H2 Wout=W2
通过这种方式的池化，输出特征图的高和宽都减半，但通道数不会改变。由于池化层是使用某一位置的相邻输出的总体统计特征代替网络在该位置的输出，所以其好处是当输入数据做出少量平移时，经过池化运算后的大多数输出还能保持不变。比如：当识别一张图像是否是人脸时，我们需要知道人脸左边有一只眼睛，右边也有一只眼睛，而不需要知道眼睛的精确位置，这时候通过汇聚某一片区域的像素点来得到总体统计特征会显得很有用。这也就体现了池化层的平移不变特性。
随着神经网络的发展，出现更多池化方法，比如SSPNet提出了空间金字塔池化(Spatial Pyramid Pooling，SPP)，对于不同尺寸的输入采用不同的滑窗大小和步长，从而确保输出尺寸相同，这样有利于提取不同尺寸的图像特征信息。全局平均池化(Global Average Pooling，GAP)第一次出现在论文Network in Network中，和Average Pooling的区别是对整个特征图求平均值，减少特征的丢失。除此之外还有Global Max Pooling、NetVLAD池化、随机池化、重叠池化、RoI池化等。
激活函数
激活函数对输入信息进行非线性变换，然后将变换后的输出信息作为输入信息传给下一层神经元。如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，最终的输出都是输入的线性组合。 激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数。
前面介绍的网络结构中，普遍使用Sigmoid函数做激活函数。在神经网络发展的早期，Sigmoid函数和Tanh函数用的比较多，而目前用的较多的激活函数是ReLU。这是因为Sigmoid函数和tanh函数在反向传播过程中，具有软饱和性，一但落入饱和区梯度就会接近0，容易造成梯度消失，让我们仔细观察Sigmoid函数图形。
图11：Sigmoid函数图形
Tanh激活函数图形如图12所示：
图12：Tanh函数图形
ReLU激活函数图形如图13所示：
图13：ReLU函数图形
从图13可以看到当输入x>=0时，ReLU的导数为常数，这样可有效缓解梯度消失问题。同时不涉及幂运算，实现也更加简单。但是当x<0的时，ReLU的梯度总是为0，某些神经元可能永远不会被激活，导致相应参数永远不会被更新。之后出现更多激活函数，如LReLU、PReLU、ELU、swish、hswish等。
通过下面的程序画出了Sigmoid和ReLU函数的曲线图：
In [1]
# ReLU和Sigmoid激活函数示意图 import numpy as np import matplotlib.pyplot as plt import matplotlib.patches as patches %matplotlib inline plt.figure(figsize=(10, 5)) # 创建数据x x = np.arange(-10, 10, 0.1) # 计算Sigmoid函数 s = 1.0 / (1 + np.exp(0. - x)) # 计算ReLU函数 y = np.clip(x, a_min=0., a_max=None) ##################################### # 以下部分为画图代码 f = plt.subplot(121) plt.plot(x, s, color='r') currentAxis=plt.gca() plt.text(-9.0, 0.9, r'$y=Sigmoid(x)$', fontsize=13) currentAxis.xaxis.set_label_text('x', fontsize=15) currentAxis.yaxis.set_label_text('y', fontsize=15) f = plt.subplot(122) plt.plot(x, y, color='g') plt.text(-3.0, 9, r'$y=ReLU(x)$', fontsize=13) currentAxis=plt.gca() currentAxis.xaxis.set_label_text('x', fontsize=15) currentAxis.yaxis.set_label_text('y', fontsize=15) plt.show()
梯度消失现象
在神经网络里，将经过反向传播之后，梯度值衰减到接近于零的现象称作梯度消失现象。
从上面的函数曲线可以看出，当x为较大的正数的时候，Sigmoid函数数值非常接近于1，函数曲线变得很平滑，在这些区域Sigmoid函数的导数接近于零。当x为较小的负数时，Sigmoid函数值也非常接近于0，函数曲线也很平滑，在这些区域Sigmoid函数的导数也接近于0。只有当x的取值在0附近时，Sigmoid函数的导数才比较大。对Sigmoid函数求导数，结果如下所示：
由于最开始是将神经网络的参数随机初始化的，x的取值很有可能在很大或者很小的区域，这些地方都可能造成Sigmoid函数的导数接近于0，导致x的梯度接近于0；即使x取值在接近于0的地方，按上面的分析，经过Sigmoid函数反向传播之后，x的梯度不超过y的梯度的1/4，如果有多层网络使用了Sigmoid激活函数，则比较靠后的那些层梯度将衰减到非常小的值。
ReLU函数则不同，虽然在x<0的地方，ReLU函数的导数为0。但是在x≥0的地方，ReLU函数的导数为1，能够将y的梯度完整的传递给x，而不会引起梯度消失。
