ExponentialLR - 指數衰減

原理： 每個 epoch 學習率乘以固定係數

公式直觀版：

lr _ t =lr _ 0 ×γ ^ t

$lr_0$ ：初始學習率
t：第幾個 epoch
$γ<1$ ：例如 0.95、0.99 → 每個 epoch 都乘一次
每個 epoch 都按同一比例變小
曲線是「平滑指數下降」，不像 StepLR / MultiStepLR 那樣一階一階突然掉

optimizer = optim.AdamW(model.parameters(), lr=1e-3)
scheduler = optim.lr_scheduler.ExponentialLR(
    optimizer,
    gamma=0.95  # lr = lr × 0.95 (每個 epoch)
)

學習率變化：

Epoch   Learning Rate
0       1.000e-3
10      0.599e-3  (×0.95^10)
20      0.358e-3  (×0.95^20)
50      0.077e-3  (×0.95^50)
100     0.006e-3  (×0.95^100)

適用： 需要緩慢平滑衰減的場景