吳恩達老師的深度學習課程（deeplearning.ai），可以說是深度學習入門的最熱門課程，我和志愿者編寫了這門課的筆記，并在 github 開源，為滿足手機閱讀的需要，我將筆記做成了在線版，可以在手機上打開公眾號收藏就能學習。（黃海廣）

課程說明

課程地址：

https://www.deeplearning.ai

國內由網易云課堂進行了翻譯，并免費提供給廣大愛好者：

https://mooc.study.163.com/university/deeplearning_ai#/c

這門課程由吳恩達老師主講，可以說是深度學習入門的最熱門課程，課程分為五個部分：

• 第一門課 神經網絡和深度學習

• 第二門課 改善深層神經網絡：超參數調試、正則化以及優化

• 第三門課 結構化機器學習項目

• 第四門課 卷積神經網絡

• 第五門課 序列模型

我將筆記做成了在線版本，只需要打開微信就可以學習了，筆記合計 33 萬字，建議收藏慢慢看利用碎片時間學習。

怎么用：

點擊目錄的藍色標題可以打開那一周的課程筆記。

筆記是根據視頻和字幕寫的，沒有技術含量，只需要專注和嚴謹。

本文的視頻和 pdf 版本的筆記可以在 github 中下載：

https://github.com/fengdu78/deeplearning_ai_books

在線版深度學習筆記目錄

第一門課 神經網絡和深度學習(Neural Networks and Deep Learning)

第一周：深度學習引言(Introduction to Deep Learning)

1.1 歡迎(Welcome)

1.2 什么是神經網絡？(What is a Neural Network)

1.3 神經網絡的監督學習(Supervised Learning with Neural Networks)

1.4 為什么神經網絡會流行？(Why is Deep Learning taking off?)

1.5 關于本課程(About this Course)

1.6 課程資源(Course Resources)

1.7 Geoffery Hinton 專訪(Geoffery Hinton interview)

第二周：神經網絡的編程基礎(Basics of Neural Network programming)

（上半周）（下半周）

2.1 二分類(Binary Classification)

2.2 邏輯回歸(Logistic Regression)

2.3 邏輯回歸的代價函數（Logistic Regression Cost Function）

2.4 梯度下降（Gradient Descent）

2.5 導數（Derivatives）

2.6 更多的導數例子（More Derivative Examples）

2.7 計算圖（Computation Graph）

2.8 計算圖導數（Derivatives with a Computation Graph）

2.9 邏輯回歸的梯度下降（Logistic Regression Gradient Descent）

2.10 梯度下降的例子(Gradient Descent on m Examples)

2.11 向量化(Vectorization)

2.12 更多的向量化例子（More Examples of Vectorization）

2.13 向量化邏輯回歸(Vectorizing Logistic Regression)

2.14 向量化邏輯回歸的梯度計算（Vectorizing Logistic Regression's Gradient）

2.15 Python 中的廣播機制（Broadcasting in Python）

2.16 關于 Python 與 numpy 向量的使用（A note on python or numpy vectors）

2.17 Jupyter/iPython Notebooks 快速入門（Quick tour of Jupyter/iPython Notebooks）

2.18 邏輯回歸損失函數詳解（Explanation of logistic regression cost function）

第三周：淺層神經網絡(Shallow neural networks)

3.1 神經網絡概述（Neural Network Overview）

3.2 神經網絡的表示（Neural Network Representation）

3.3 計算一個神經網絡的輸出（Computing a Neural Network's output）

3.4 多樣本向量化（Vectorizing across multiple examples）

3.5 向量化實現的解釋（Justification for vectorized implementation）

3.6 激活函數（Activation functions）

3.7 為什么需要非線性激活函數？（why need a nonlinear activation function?）

3.8 激活函數的導數（Derivatives of activation functions）

3.9 神經網絡的梯度下降（Gradient descent for neural networks）

3.10（選修）直觀理解反向傳播（Backpropagation intuition）

3.11 隨機初始化（Random+Initialization）

第四周：深層神經網絡(Deep Neural Networks)

4.1 深層神經網絡（Deep L-layer neural network）

4.2 前向傳播和反向傳播（Forward and backward propagation）

4.3 深層網絡中的前向和反向傳播（Forward propagation in a Deep Network）

4.4 核對矩陣的維數（Getting your matrix dimensions right）

4.5 為什么使用深層表示？（Why deep representations?）

4.6 搭建神經網絡塊（Building blocks of deep neural networks）

4.7 參數 VS 超參數（Parameters vs Hyperparameters）

4.8 深度學習和大腦的關聯性（What does this have to do with the brain?）

第二門課 改善深層神經網絡：超參數調試、正則化以及優化(Improving Deep Neural Networks:Hyperparameter tuning, Regularization and Optimization)

第一周：深度學習的實用層面(Practical aspects of Deep Learning)

1.1 訓練，驗證，測試集（Train / Dev / Test sets）

1.2 偏差，方差（Bias /Variance）

1.3 機器學習基礎（Basic Recipe for Machine Learning）

1.4 正則化（Regularization）

1.5 為什么正則化有利于預防過擬合呢？（Why regularization reduces overfitting?）

1.6 dropout 正則化（Dropout Regularization）

1.7 理解 dropout（Understanding Dropout）

1.8 其他正則化方法（Other regularization methods）

1.9 標準化輸入（Normalizing inputs）

1.10 梯度消失/梯度爆炸（Vanishing / Exploding gradients）

1.11 神經網絡的權重初始化（Weight Initialization for Deep NetworksVanishing /Exploding gradients）

1.12 梯度的數值逼近（Numerical approximation of gradients）

1.13 梯度檢驗（Gradient checking）

1.14 梯度檢驗應用的注意事項（Gradient Checking Implementation Notes）

第二周：優化算法 (Optimization algorithms)

2.1 Mini-batch 梯度下降（Mini-batch gradient descent）

2.2 理解 Mini-batch 梯度下降（Understanding Mini-batch gradient descent）

2.3 指數加權平均（Exponentially weighted averages）

2.4 理解指數加權平均（Understanding Exponentially weighted averages）

2.5 指數加權平均的偏差修正（Bias correction in exponentially weighted averages）

2.6 momentum 梯度下降（Gradient descent with momentum）

2.7 RMSprop——root mean square prop（RMSprop）

2.8 Adam 優化算法（Adam optimization algorithm）

2.9 學習率衰減（Learning rate decay）

2.10 局部最優問題（The problem of local optima）

第三周超參數調試，batch 正則化和程序框架（Hyperparameter tuning, Batch Normalization and Programming Frameworks)

3.1 調試處理（Tuning process）

3.2 為超參數選擇和適合范圍（Using an appropriate scale to pick hyperparameters）

3.3 超參數訓練的實踐：Pandas vs. Caviar（Hyperparameters tuning in practice: Pandas vs. Caviar）

3.4 網絡中的正則化激活函數（Normalizing activations in a network）

3.5 將 Batch Norm 擬合進神經網絡（Fitting Batch Norm into a neural network）

3.6 為什么 Batch Norm 奏效？（Why does Batch Norm work?）

3.7 測試時的 Batch Norm（Batch Norm at test time）

3.8 Softmax 回歸（Softmax Regression）

3.9 訓練一個 Softmax 分類器（Training a softmax classifier）

3.10 深度學習框架（Deep learning frameworks）

3.11 TensorFlow（TensorFlow）

第三門課 結構化機器學習項目 (Structuring Machine Learning Projects)

第一周：機器學習策略（1）(ML Strategy (1))

1.1 為什么是 ML 策略？(Why ML Strategy)

1.2 正交化(Orthogonalization)

1.3 單一數字評估指標(Single number evaluation metric)

1.4 滿足和優化指標 (Satisficing and Optimizing metric)

1.5 訓練集、開發集、測試集的劃分(Train/dev/test distributions)

1.6 開發集和測試集的大小 (Size of the dev and test sets)

1.7 什么時候改變開發集/測試集和評估指標(When to change dev/test sets and metrics)

1.8 為什么是人的表現 (Why human-level performance?)

1.9 可避免偏差(Avoidable bias)

1.10 理解人類的表現 (Understanding human-level performance)

1.11 超過人類的表現(Surpassing human-level performance)

1.12 改善你的模型表現 (Improving your model performance)

第二周：機器學習策略（2）(ML Strategy (2))

2.1 誤差分析 (Carrying out error analysis)

2.2 清除標注錯誤的數據(Cleaning up incorrectly labeled data)

2.3 快速搭建你的第一個系統，并進行迭代(Build your first system quickly, then iterate)

2.4 在不同的分布上的訓練集和測試集 (Training and testing on different distributions)

2.5 數據分布不匹配的偏差與方差分析 (Bias and Variance with mismatched data distributions)

2.6 處理數據不匹配問題(Addressing data mismatch)

2.7 遷移學習 (Transfer learning)

2.8 多任務學習(Multi-task learning)

2.9 什么是端到端的深度學習？(What is end-to-end deep learning?)

2.10 是否使用端到端的深度學習方法 (Whether to use end-to-end deep learning)

第四門課 卷積神經網絡（Convolutional Neural Networks）

第一周 卷積神經網絡(Foundations of Convolutional Neural Networks)

1.1 計算機視覺（Computer vision）

1.2 邊緣檢測示例（Edge detection example）

1.3 更多邊緣檢測內容（More edge detection）

1.4 Padding

1.5 卷積步長（Strided convolutions）

1.6 三維卷積（Convolutions over volumes）

1.7 單層卷積網絡（One layer of a convolutional network）

1.8 簡單卷積網絡示例（A simple convolution network example） 1.9 池化層（Pooling layers）

1.10 卷積神經網絡示例（Convolutional neural network example）

1.11 為什么使用卷積？（Why convolutions?）

第二周 深度卷積網絡：實例探究(Deep convolutional models: case studies)

2.1 為什么要進行實例探究？（Why look at case studies?）

2.2 經典網絡（Classic networks）

2.3 殘差網絡（Residual Networks (ResNets)）

2.4 殘差網絡為什么有用？（Why ResNets work?）

2.5 網絡中的網絡以及 1×1 卷積（Network in Network and 1×1 convolutions）

2.6 谷歌 Inception 網絡簡介（Inception network motivation） 2.7 Inception 網絡（Inception network）

2.8 使用開源的實現方案（Using open-source implementations）

2.9 遷移學習（Transfer Learning）

2.10 數據擴充（Data augmentation）

2.11 計算機視覺現狀（The state of computer vision）

第三周 目標檢測（Object detection）

3.1 目標定位（Object localization）

3.2 特征點檢測（Landmark detection）

3.3 目標檢測（Object detection）

3.4 卷積的滑動窗口實現（Convolutional implementation of sliding windows）

3.5 Bounding Box 預測（Bounding box predictions）

3.6 交并比（Interp over union）

3.7 非極大值抑制（Non-max suppression）

3.8 Anchor Boxes

3.9 YOLO 算法（Putting it together: YOLO algorithm）

3.10 候選區域（選修）（Region proposals (Optional)）

第四周 特殊應用：人臉識別和神經風格轉換（Special applications: Face recognition &Neural style transfer）

4.1 什么是人臉識別？(What is face recognition?)

4.2 One-Shot 學習（One-shot learning）

4.3 Siamese 網絡（Siamese network）

4.4 Triplet 損失（Triplet 損失）

4.5 面部驗證與二分類（Face verification and binary classification）

4.6 什么是神經風格轉換？（What is neural style transfer?）

4.7 什么是深度卷積網絡？（What are deep ConvNets learning?）

4.8 代價函數（Cost function）

4.9 內容代價函數（Content cost function）

4.10 風格代價函數（Style cost function）

4.11 一維到三維推廣（1D and 3D generalizations of models）

第五門課 序列模型(Sequence Models)

第一周 循環序列模型（Recurrent Neural Networks） 1.1 為什么選擇序列模型？（Why Sequence Models?）

1.2 數學符號（Notation）

1.3 循環神經網絡模型（Recurrent Neural Network Model）

1.4 通過時間的反向傳播（Backpropagation through time）

1.5 不同類型的循環神經網絡（Different types of RNNs）

1.6 語言模型和序列生成（Language model and sequence generation）

1.7 對新序列采樣（Sampling novel sequences）

1.8 循環神經網絡的梯度消失（Vanishing gradients with RNNs）

1.9 GRU 單元（Gated Recurrent Unit（GRU））

1.10 長短期記憶（LSTM（long short term memory）unit）

1.11 雙向循環神經網絡（Bidirectional RNN）

1.12 深層循環神經網絡（Deep RNNs）

第二周 自然語言處理與詞嵌入（Natural Language Processing and Word Embeddings）

2.1 詞匯表征（Word Representation）

2.2 使用詞嵌入（Using Word Embeddings）

2.3 詞嵌入的特性（Properties of Word Embeddings）

2.4 嵌入矩陣（Embedding Matrix）

2.5 學習詞嵌入（Learning Word Embeddings）

2.6 Word2Vec

2.7 負采樣（Negative Sampling）

2.8 GloVe 詞向量（GloVe Word Vectors）

2.9 情緒分類（Sentiment Classification）

2.10 詞嵌入除偏（Debiasing Word Embeddings）

第三周 序列模型和注意力機制（Sequence models & Attention mechanism）

3.1 基礎模型（Basic Models）

3.2 選擇最可能的句子（Picking the most likely sentence）

3.3 集束搜索（Beam Search）

3.4 改進集束搜索（Refinements to Beam Search）

3.5 集束搜索的誤差分析（Error analysis in beam search）

3.6 Bleu 得分（選修）（Bleu Score (optional)）

3.7 注意力模型直觀理解（Attention Model Intuition）

3.8 注意力模型（Attention Model）

3.9 語音識別（Speech recognition）

3.10 觸發字檢測（Trigger Word Detection）

3.11 結論和致謝（Conclusion and thank you）

備注：筆記視頻和pdf可以在github下載

https://github.com/fengdu78/deeplearning_ai_books?

往期精彩回顧 那些年做的學術公益-你不是一個人在戰斗適合初學者入門人工智能的路線及資料下載機器學習在線手冊備注：加入本站微信群或者qq群，請回復“加群”加入知識星球（4500+用戶，ID：92416895），請回復“知識星球”

總結

以上是生活随笔為你收集整理的33万字！深度学习笔记在线版发布!的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。