bottleneck layer
先通过1×1卷积层降维，然后在低维空间上做kernel size稍微大一点的卷积，再通过1×1卷积核升维。
可以降低计算量，但降维会丢失信息，对准确率有影响，尤其是在浅层使用时信息丢失更严重。
ResNet
通过计算目标函数与一个已知函数的差来简化拟合任务。
identity函数在该任务上有优越性，Resnet内部有时会使用bottleneck结构。
增加BN层以及将BN、Relu层放在卷积之前可以增加准确率。
inception
通过多路不同尺度的卷积运算再连接，实现channel数的增加。
一些观念：
- 慎用bottleneck结构，在浅层使用会降低精准度
- 在后半部增加分类层，以一个较小的权重参与最终分类，可以保证尺度较小的物体也能参与分类，可以带来参数归一化的效果
- 多个小卷积乃至非对称卷积代替大卷积核
- 同时通过pool和conv减小尺寸再连接，减少两种操作带来的信息丢失
- 宽度和深度要平衡
- 深层可以使用bottleneck结构减少冗余信息
- Label Smoothing
