數據預處理

Multi-Scale Training

输入不同尺度的图像数据集，因为神经网络卷积池化的特殊性，这样可以让神经网络充分地学习不同分辨率下图像的特征

1. 可以用來處理小數據過擬和
   • 先用小尺寸訓練一次
   • 再增大尺寸訓練相同模型
2. 算是Data Augmentation的特例，針對圖像大小，不一定對所有的模型有用
   • 如果放大時會造成信息的影響就可能不適用
   • 可以放大近距離觀察一下，看對整體信息有沒有影響

Label Smoothing

模型

由小而大

1. 先嘗試過擬和一個小數據集
   • 关闭正则化/随机失活/数据扩充，先用一小部分數據集訓練幾個週期看看損失能不能變0，如果不能就代表有問題。
2. 先淺淺3-8層再追求深層
   • 淺層要先有一定的效果。深層是為了追求更高的精度，如果淺層都學不好，那加深也沒用。

權重初始化

• 太小沒辦法有效地傳遞訊息（乘到後來都變0）
• 太大可能會梯度爆炸
• 均值為0，但不能都設為0
• bias一般都設0

Hidden Neuron數量

• 參考相似的Research，一般256-1024
• 太少會欠擬和