微調多層自編碼算法

Contents [hide] 1介紹 2一般策略 3使用反向傳播法進行微調 4中英文對照 5中文譯者

介紹

微調是深度學習中的常用策略，可以大幅提升一個棧式自編碼神經網絡的性能表現。從更高的視角來講，微調將棧式自編碼神經網絡的所有層視為一個模型，這樣在每次迭代中，網絡中所有的權重值都可以被優化。

一般策略

幸運的是，實施微調棧式自編碼神經網絡所需的工具都已齊備！為了在每次迭代中計算所有層的梯度，我們需要使用稀疏自動編碼一節中討論的反向傳播算法。因為反向傳播算法可以延伸應用到任意多層，所以事實上，該算法對任意多層的棧式自編碼神經網絡都適用。

使用反向傳播法進行微調

為方便讀者，以下我們簡要描述如何實施反向傳播算法：

1. 進行一次前饋傳遞，對 層、 層直到輸出層 ，使用前向傳播步驟中定義的公式計算各層上的激活值（激勵響應）。

2. 對輸出層（ 層），令

（當使用softmax分類器時，softmax層滿足：，其中 為輸入數據對應的類別標簽， 為條件概率向量。）

3. 對

令

4. 計算所需的偏導數：

注：我們可以認為輸出層softmax分類器是附加上的一層，但是其求導過程需要單獨處理。具體地說，網絡“最后一層”的特征會進入softmax分類器。所以，第二步中的導數由 計算，其中。

中英文對照

棧式自編碼神經網絡（可以考慮翻譯為“多層自動編碼機”或“多層自動編碼神經網絡”） Stacked autoencoder

微調 Fine tuning

反向傳播算法 Backpropagation Algorithm

前饋傳遞 feedforward pass

激活值 （可以考慮翻譯為“激勵響應”或“響應”） activation

from: http://ufldl.stanford.edu/wiki/index.php/%E5%BE%AE%E8%B0%83%E5%A4%9A%E5%B1%82%E8%87%AA%E7%BC%96%E7%A0%81%E7%AE%97%E6%B3%95

總結

以上是生活随笔為你收集整理的Stanford UFLDL教程 微调多层自编码算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。