BatchNorm

• 批量归一化，通过减少内部协变量平移加速深度网络训练。BatchNorm pytorch官方文档
  

• BatchNorm对于一个[0,1,2,3]的二维数据，是对1位置的数据计算矩阵方差并归一化的。一般所对应的数据一般是[B,C,H,W]，所以是对数据的channel维度进行的归一化。

• LazyBatchNorm

KNConvNets(核规范化卷积网络)

• 现有的深度卷积神经网络 （CNN） 架构经常依赖于批处理规范化 （BatchNorm） 来有效地训练模型。BatchNorm 显著提高了模型性能，但在批大小较小的情况下性能较差。为了解决这一限制，我们提出了核归一化和核归一化卷积层，并将它们合并到核归一化卷积网络（KNConvNets）中作为主要构建块。我们实现了与最先进的 CNN（如 ResNet 和 DenseNet）相对应的 KNConvNet，同时放弃了 BatchNorm 层。通过广泛的实验，我们证明了KNConvNets在准确性和收敛率方面始终优于其批处理，组和层归一化对应物，同时保持了具有竞争力的计算效率。

实验结果

参考与更多

BatchNorm2d添加链接描述Pytorch BN(BatchNormal)计算过程与源码分析和train与eval的区别
BatchNorm的“平替”？TUM提出KNConvNets，消除CNN中BatchNorm的缺点​