Learning Rate (學習率)

定義：控制每次更新參數時「跨出的步伐大小」

# 科學記號 = 係數 × 10^指數
1e-1  = 1 × 10^(-1) = 0.1
1e-2  = 1 × 10^(-2) = 0.01
1e-3  = 1 × 10^(-3) = 0.001
5e-4  = 5 × 10^(-4) = 0.0005
1e-4  = 1 × 10^(-4) = 0.0001
1e-5  = 1 × 10^(-5) = 0.00001
1e-6  = 1 × 10^(-6) = 0.000001

學習率選擇指南

學習率範圍	適用場景	特點	風險
1e-1 ~ 1e-2	SGD + Momentum	快速收斂	容易震盪
1e-3 ~ 5e-4	Adam/AdamW（推薦）	平衡速度與穩定	最常用
1e-4 ~ 5e-5	微調預訓練模型	穩定、不破壞原有知識	收斂慢
1e-5 ~ 1e-6	超精細調整	極度穩定	非常慢