進階理論大學

神經網路與深度學習

大學・進階理論

神經網路由許多簡單單元層層組成：每個隱藏層先做線性計算，再經過非線性的激活函數；訓練時用反向傳播算出梯度，再用梯度下降調整權重。學習率太小學得慢，太大會來回震盪甚至發散。

一句目標　用試算表算出三種學習率下梯度下降 10 步的結果，說明學習率太小、剛好、太大各會怎樣，訓練一個一層隱藏層的網路並讀懂損失曲線（數字是示意）。

家長檢核　不看本頁，自己算出 x 從 10 開始、學習率 0.2 時每步乘 0.6，說出學習率 1.1 為什麼會發散，並用一句話說明為什麼隱藏層要有非線性的激活函數；三件事都對（數字是示意）。

情境

先用試算表算 f(x) ＝ x² 的梯度下降，比較三種學習率；再照教科書的從零實作，訓練一層隱藏層的神經網路辨識衣物圖片，觀察學習率太大或太小時損失怎麼變（數字是示意，本站整理）。

引導問題

模型「學會」了，我們能知道它是怎麼想的嗎？
學習率太大或太小，訓練會怎樣？

學科路徑

資訊 / 人工智慧 / 機器學習

階段: 大學
層級: 進階理論

能力標籤

這是網站自己的專才／通才標籤，不是課綱代碼。

專才

機器學習

通才

跨域思考

人機分工

可以交給工具

提供框架、加速訓練（先自己手算一次梯度下降再用框架，本站建議）

要自己經歷

理解數學原理、診斷訓練失敗

先備

機器學習原理：從資料學出規則 · 進階理論 · 高中
資料結構與演算法分析 · 進階理論 · 高中

連結

為什麼

沒有

怎麼用

沒有

下一個深度

沒有

跨學門關聯：數學（導數與最佳化、線性代數與資料）

練習

目標：用試算表算出三種學習率下梯度下降 10 步的結果，說明學習率太小、剛好、太大各會怎樣，訓練一個一層隱藏層的網路並讀懂損失曲線（數字是示意）。　檢核：不看本頁，自己算出 x 從 10 開始、學習率 0.2 時每步乘 0.6，說出學習率 1.1 為什麼會發散，並用一句話說明為什麼隱藏層要有非線性的激活函數；三件事都對（數字是示意）。

家庭時間

一起讀這條主線

主線：AI 與機器學習概念AI 與機器學習概念

孩子讀「機器怎麼學？」，大人讀「機器學習原理：從資料學出規則」，一起訓練一個分類模型並找出它常錯的地方。