AdaDelta

特點：AdaGrad的改進版，不需要設定初始學習率

optimizer = optim.Adadelta(
    model.parameters(),
    rho=0.9,           # 衰減率
    eps=1e-6,          # 數值穩定性
    weight_decay=0     # 權重衰減
)

優點：

• 不需要初始學習率

• 解決 AdaGrad 學習率衰減問題

缺點：

• 不如 Adam/AdamW 流行

• 收斂可能較慢

相關筆記

• 優化器：優化器總覽
• AdaGrad：前身
• RMSprop：同期的類似改良