批量归一化（Batch Normalization, BN）是深度学习中用于加速训练并提高模型性能的一种重要技术，由Sergey Ioffe和Christian Szegedy在2015年首次提出。在训练深度神经网络时，批量归一化主要解决以下几个核心问题：
内部协变量偏移（Internal Covariate Shift）：
深度神经网络中，随着网络层数加深，前一层的参数更新会导致后一层输入数据分布发生变化，这一现象被称为内部协变量偏移。这种偏移使得模型训练不稳定，特别是对于深层网络，每一层都必须不断适应其输入数据的新分布，导致训练速度变慢且效果欠佳。梯度消失与梯度爆炸：
数据分布在层间传递时的不稳定性会影响梯度传播，可能导致梯度消失（在网络深处梯度太小，几乎无法更新权重）或梯度爆炸（权重更新过大，导致训练失效）的问题。
批量归一化解决这些问题的方式是在网络训练过程中，对每一层神经网络的输入激活值进行归一化处理。具体来说，它针对每个小批量样本，在每一层的输入或者激活值上做如下操作：
- 计算小批量数据在当前通道（对于卷积层）或特征（对于全连接层）上的均值和方差；
- 使用这些统计量对输入数据进行标准化（零均值、单位方差）；
- 添加可学习的缩放和平移参数（γ和β），允许模型恢复任何必要的尺度和位置变换，以保持网络的表达能力；
- 这样的标准化操作确保了每一层接收到的输入数据具有相似的分布，进而有助于提高训练速度和稳定性。
批量归一化的优点主要包括：
- 加速训练：由于归一化降低了内部协变量偏移，网络可以更快地收敛，尤其是在深层网络中。
- 减少对超参数的敏感性：模型对于学习率和其他初始化参数的选择不再那么敏感，可以采用较大的学习率。
- 对抗过拟合：某种程度上充当了正则化器的角色，可以减轻过拟合现象。
- 简化初始化过程：不需要精心设计复杂的初始化策略也能较好地启动训练过程。
总的来说，批量归一化通过强制中间层的输入保持相对稳定的分布，显著改善了深度神经网络的训练效率和最终性能。
