1.BN:介绍Bottleneck layer结构

1×1卷积：可用于升维或降维，联通等作用

2. 抑制模型过拟合 - Label smooth

one hot --->label smooth

$$\begin{gathered} 正确（1，0，0）--->(1-\epsilon ，\frac{\epsilon }{k-1}，\frac{\epsilon }{k-1})当前k=3 \\ onehot会使正确类别输出值趋于+\infty ,而labelsmooth会趋于有界 \end{gathered}$$
3.用2个3×3代替一个5×5，能减少参数量，计算量，增加非线性性

4.不对称卷积（卷积分解）：N×N分解为1×N和N×1前后两个卷积，能减少参数量，计算量，增加非线性性

5.下采样模块：

传统下采样，先卷积再池化（计算量大）或步长为2的卷积（损失信息）
现在：分为两路，然后堆叠通道

6.深度可分离卷积：先depthwise,再pointwise（且中间无激活函数，效果最好）

每层卷积后结果不相加，直接concat，然后再通过一个1×1卷积，得到与原来卷积一样大小的结果
能够减少参数量，运算量，再Xinception中就是先通过1×1卷积，然后对每个通道都有一个卷积核然后再concat,与可分离卷积操作相反，但作用相似。