29 / 29
- 分層學習率 (Layer-wise Learning Rate)概念： 不同層使用不同的學習率 原因： 1. 預訓練模型微調 ：前面的層已經學到很好的特徵，不應該大幅改動 2. 不同層的重要性 ：越靠近輸…
- 反向傳播（Backpropagation）目標：根據 loss，讓模型參數朝「更準」的方向優化。 步驟： 從 output（損失）開始，沿著神經網路反向往回「流動」誤差資訊 透過 鏈…
- 正則化重點就一個： 想辦法減少 overfitting，讓模型在看不見的新資料上表現更好 。 正則化 = 對模型「下限制 / 加懲罰」，不要讓它在…
- 前向傳播（Forward Propagation）一張圖片進入 CNN，資料會「逐層經過」卷積層、池化層、全連接層等 每一層會做特徵提取和轉換 最終產生預測（如：每個類別的分數或機率） 結果…
- 損失函數損失函數就是一個 衡量標準 ，告訴你模型的「預測」和「正確答案」有多接近——越小表示越準確。 訓練神經網路（包括 CNN）時，每一步「優化」…
- 學習率調度器在訓練過程中自動幫你改 learning rate 的工具 ，而不是整個訓練都用同一個 lr 為什麼需要？ 訓練初期：大學習率，快速接近最佳…
- 學習率調度器 整理表Scheduler 學習率變化形狀（直觀） 主要參數重點 優點 缺點 / 注意 CNN 何時適合用？ StepLR 像樓梯：一段時間不變，到…
- 激活函數（Rectified Linear Unit）ReLU 的公式：$ReLU(x)=max(0,x)$ 意思就是：輸入如果小於 0，就變 0；大於等於 0，就保持原樣 如果每一層都只有線…
- 優化器優化器（Optimizer）是深度學習中負責 更新模型參數 的演算法，目標是找到讓損失函數（Loss）最小的參數組合。 簡單比喻： 模型參數…
- 權重衰減（Weight Decay）定義：懲罰過大的權重值，防止過擬合 作用： 限制模型複雜度 防止權重爆炸 提升泛化能力 標準更新公式： 加入 weight decay： 實…
- AdaDelta特點：AdaGrad的改進版，不需要設定初始學習率 優點： 不需要初始學習率 解決 AdaGrad 學習率衰減問題 缺點： 不如 Adam/…
- AdaGrad常被更新的參數：步伐越來越小 很少被更新的參數：步伐相對比較大 特點：自動調整學習率，適合稀疏資料 也就是說，它會根據「過去累積的梯度大小」…
- Adam(Adaptive Moment Estimation)在 SGD 基礎上，自動幫每個參數調 learning rate，還順便幫你加好 momentum。 可以把 Adam 想成： 自動幫你加好…
- AdamW(Adam with Weight Decay)AdamW 跟 Adam 的核心差別（直觀） AdamW = 「Adam + 正確的 weight decay（L2 正則化）」 重點不是“…
- CNN 常見 optimizer 整理表Optimizer 核心特色（直觀） 優點（實務感受） 缺點 / 注意 什麼時候可以選它？ SGD 固定步伐往「平均梯度反方向」走 簡單、可…
- CNN（卷積神經網路）全名： Convolutional Neural Network 介紹：是一種專為處理圖像數據設計的深度學習模型 基本架構：由卷積層、池化層…
- CosineAnnealingLR - 餘弦退火原理： 學習率按餘弦曲線平滑衰減 像餘弦曲線一樣先慢慢降，再升回來一點，常配合長訓練 從初始 lr 開始， 慢慢降到 eta min（通常接…
- Epoch （訓練週期）只訓練模型過程中，演算法完整使用過資料及每筆資料的狀態。 把資料分成一堆堆，分別丟入類神經網路中訓練，而非全部一起丟進去訓練。 在機器學習上…
- ExponentialLR - 指數衰減原理： 每個 epoch 學習率乘以固定係數 公式直觀版： $lr 0$：初始學習率 t ：第幾個 epoch $γ<1$：例如 0.95、…
- GoogLeNet介紹：GoogLeNet（又稱Inception v1）是Google於2014年發表，並在ImageNet比賽中獲得冠軍的卷積神經網路模型…
- GoogLeNet 層級參數解釋層名 位置/功能 參數內容 直觀角色 conv1.parameters() 最前面的 7×7 卷積層 第一個大卷積核 (3→64 通道, s…
- Inception在 GoogLeNet 裡指的是一種「特別設計的卷積模組」，是整個 GoogLeNet 架構的核心積木。可以把它想成： 同一層裡，同時用好幾…
- iT 邦幫忙!一起幫忙解決難題，拯救 IT 人的一天
- Learning Rate (學習率)定義：控制每次更新參數時「跨出的步伐大小」 學習率範圍 適用場景 特點 風險 1e 1 ~ 1e 2 SGD + Momentum 快速收斂…
- MultiStepLR是在 StepLR 基礎上更「可客製化」的一種階梯式衰減 在你指定的幾個 epoch（里程碑）把 lr 變小 核心直覺：MultiStepL…
- ReduceLROnPlateau - 自適應衰減原理： 當指標停止改善時自動降低學習率 當「模型表現卡住一陣子沒進步」時，才自動把學習率變小 核心概念（只抓這個） 你指定要「監控的指標」，…
- RMSprop可以先把它當成「 自動調整 learning rate 的加強版 SGD 」 RMSprop 會根據「最近一段時間的梯度大小」，自動幫每個參…
- SGD(Stochastic Gradient Descent)隨機梯度下降最常用的優化器之一，用來一步一步調整權重，讓 loss 變小。 核心概念：每次只看「一小批（mini‑batch）」資料算梯度，而不是整個訓…
- StepLR - 階梯式衰減原理： 每隔固定 epoch 將學習率乘以衰減係數 設定： step size = S ， gamma = γ 意思：每過 S 個 epoc…