卷積神經網絡

卷積基本知識

卷積與全理解層的區(qū)別

速記：局部連接；權值共享；輸入/輸出數據結構化

詳細：局部連接：卷積核尺寸遠小于輸入特征圖的尺寸。

權值共享：卷積核的滑動窗機制，使得輸出層上不同未知的節(jié)點與輸入層的連接權值都是一樣的（即卷積核參數）。

輸入/輸出數據結構化：局部連接和權值共享，使得剪輯操作能夠在輸出數據中大致保持輸入數據的結構信息。

?

卷積神經網絡的基礎模塊

批歸一化為了解決什么問題？他的參數有何意義？他在網絡中一般放在什么位置？

速記：解決內部協變量偏移問題。激活層前后都可以。

詳細：在機器學習中，一般會假設模型的輸入數據的分布是穩(wěn)定的。如果這個假設不成立，及模型輸入數據的分布發(fā)生變化，則稱為協變量偏移。模型的訓練集和測試即的分布不一致，或者模型在訓練過程中輸入數據的分布發(fā)生變化，這些都屬于協變量偏移現象。

同樣，對于一個復雜的計算機學習系統(tǒng)，在訓練過程中一般也會要求系統(tǒng)李的各個子模塊的輸入分布是穩(wěn)定的，如不滿足，則稱為內部協變量偏移。對于深度神經網絡，其在訓練過程中，每一層的參數都會隨之更新。易第i層為例，其輸入數據與之前所有層的網絡參數取值都有很大關系；在訓練過程中，如果之前層的參數被更新后，第i層的輸入數據的分布必然也跟著變化，此即為內部協變量偏移。

內部協變量偏移會給深度神經網絡的訓練過程帶來諸多問題：

• 網絡每一層需要不斷適應輸入數據的分布的變化，這會影響學習效率，使學習過程變得不穩(wěn)定。

• 網絡前幾層的更行，很可能使得后幾層的輸入數據變得過大或過小，從而掉進激活函數的飽和區(qū)，導致學習過程過早停止。

• 為降低內部協變量偏移的影響，避免參數更新過快，實際應用中會采用較小的學習率，這回降低收斂速度。

?

批歸一化就是為了解決上述問題而提出的，它的主要作用為：確保網絡中的各層，即使參數發(fā)生了變化，其輸入/輸出數據的分布也不能產生較大變化，從而避免發(fā)生內部協變量偏移現象。

批歸一化可以看作帶參數的標準化，具體公式為

其中，?和?分別是原始輸入數據和批歸一化后的輸出數據，?分別是輸入數據的均值和標準差（在mini-batch上），?分別是可學習的平移參數和縮放參數，上標k表示數據的第k維（批歸一化在數據各個維度上是獨立進行的), ?是防止分母為0的一個小量。

可學習的參數?有以下作用：

• 保留網絡各層在訓練過程中的學習成果。

• 保證激活單元的非線性表達能力

• 使批歸一化模塊具有自我關閉能力。若兩參數分別取數據的均值和標準差，則可以復原初始的輸入值。

批歸一化的位置

• 激活層前：有效避免批歸一化破壞費線性特征的分布；使數據點盡量不落入激活函數的飽和區(qū)域，緩解梯度消失問題。

• 激活層后：避免在激活層之前被轉化成相似的模式從而舍得非線性特征分布趨于同化。

?

用于分類任務的卷積神經網絡最后幾層一般使什么層？在最近幾年有什么變化？

速記：全連接層；近幾年用平均池化多。

詳細：用于分類的卷積神經網絡，末端一般是幾層全連接層。為了提取不同元素之間的關聯關系，需要一個全局的、位置敏感的特征提取器，全連接層是最方便的選擇。

最近幾年，最后一層之前通常采用全局平均池化，具有以下優(yōu)點：

參數量和計算量大大降低；有較好的可解釋性。

?

循環(huán)神經網絡

循環(huán)神經網絡能較好地處理序列信息，并能捕獲長距離樣本之間的關聯關系。用因節(jié)點狀態(tài)保存序列中有價值的歷史信息，使得網絡能夠學習到整個序列的濃縮的、抽象的信息。相關內容

神經網絡與序列建模

描述神經網絡的結構以及參數更新方式。

詳細：其實從神經網絡的計算公式可以看出，神經網絡的參數對于每一步是共享的。（其實就是只有一個，并沒有一串）

參數更新 ：基于時間的反向傳播算法。

?

如何使用卷積神經網絡對序列數據建模？

速記：Text CNN

?

循環(huán)神經網絡中的Dropout

在循環(huán)神經網絡中如何使用Dropout？

速記：不能直接用。

詳細：如果張子杰用Dropout刪除一些神經元，會導致RNN的記憶能力減退。

一個較為直觀的思路為：只將Dropout用在前饋連接上，但這一效果并不太理想，因為RNN中給的大量參數其實是在循環(huán)連接上的。

基于變分推理的Dropout方：對于同一個序列，在其所有時刻的循環(huán)連接上采用形同的丟棄方法，也就是說不同時刻丟棄的連接是相同的，實驗表明，這種Dropout在語言模型和情感分析中會獲得較好的效果。

?

RNN中的長期依賴問題

RNN為什么容易出現長期依賴問題?

速記:梯度消失/爆炸,解決方法:LSTM，GRU

?

?

總結

以上是生活随笔為你收集整理的葫芦书笔记----CNN和RNN的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。