正則化

重點就一個：想辦法減少 overfitting，讓模型在看不見的新資料上表現更好。

正則化 = 對模型「下限制 / 加懲罰」，不要讓它在訓練集上學得太複雜、太偏激。

在 CNN 常見的正則化手法只要先記住幾個名字就好：

• L2 / weight decay：限制權重不要太大

• Dropout：隨機把部份神經元關掉

• Data augmentation：把圖片做旋轉、翻轉、裁切當作更多樣本

• Early stopping：驗證集變差就提前停訓練

這些方法的共同目標：犧牲一點訓練集表現，換更好的泛化能力。

相關筆記

• 權重衰減（Weight Decay）：最常見的正則化方式
• 損失函數：正則項加在損失函數上