學習率調度器

在訓練過程中自動幫你改 learning rate 的工具，而不是整個訓練都用同一個 lr

為什麼需要？

• 訓練初期：大學習率，快速接近最佳解

• 訓練後期：小學習率，精細調整

StepLR - 階梯式衰減.md

MultiStepLR.md

ExponentialLR - 指數衰減.md

CosineAnnealingLR - 餘弦退火.md

ReduceLROnPlateau - 自適應衰減.md

相關筆記

• Learning Rate (學習率)：基本概念
• 學習率調度器 整理表：比較表
• StepLR - 階梯式衰減
• MultiStepLR
• ExponentialLR - 指數衰減
• CosineAnnealingLR - 餘弦退火
• ReduceLROnPlateau - 自適應衰減