1. 残差连接

image.png

RNN: output = 模型输出+input 一般网络: output=模型输出

2. 批量规范化（BN）

image.png

2.1 为什么BN

image.png

2.2 BN原理

image.png

image.png

3. Summary

image.png