25个神经网络模型
- 1. 引言
- 1.1 神經元
- 1.2卷積神經元（Convolutional cells）
- 1.3 解卷積神經元
- 1.4 池化神經元和插值神經元（Pooling and interpolating cells）
- 1.5均值神經元和標準方差神經元（Mean and standard deviation cells）（作為概率神經元它們總是成對地出現）
- 1.6 循環神經元（Recurrent cells ）
- 1.7 長短期記憶神經元（Long short term memory cells）
- 1.8 門控循環神經元（Gated recurrent units (cells)）
- 1.9 神經細胞層(Layers)
- 1.10 卷積連接層（Convolutionally connected layers）
- 1.11 時間滯后連接（Time delayed connections）
- 2. 前饋神經網絡（FFNN）
- 3. 徑向基神經網絡（RBF）
- 4. 霍普菲爾網絡（HN）
- 5. 馬爾可夫鏈（MC）
- 6. 玻爾茲曼機（BM）
- 8. 受限玻爾茲曼機（RBM）
- 9. 自編碼機（AE）
- 10. 稀疏自編碼機（SAE）
- 11.變分自編碼機（VAE）
- 12. 去噪自編碼機（DAE）
- 13. 深度信念網絡（DBN）
- 14. 卷積神經網絡（CNN）
- 15. 解卷積網絡（DN）
- 16. 深度卷積逆向圖網絡（DCIGN）
- 17. 生成式對抗網絡（GAN）
- 18. 循環神經網絡（RNN）
- 19. 長短期記憶（LSTM）
- 20. 門循環單元（GRU）
- 21. 神經圖靈機（NTM）
- 22. BiRNN、BiLSTM、BiGRU
- 23. 深度殘差網絡（DRN）
- 24. 回聲狀態網絡（ESN）
- 25. 極限學習機（ELM）
- 26. 液態機（LSM）
- 27. 支持向量機（SVM）
- 28. Kohonen 網絡
1. 引言
在深度學習十分火熱的今天，不時會涌現出各種新型的人工神經網絡，想要實時了解這些新型神經網絡的架構還真是不容易。光是知道各式各樣的神經網絡模型縮寫（如：DCIGN、BiLSTM、DCGAN……還有哪些？)，就已經讓人招架不住了。
因此，這里整理出一份清單來梳理所有這些架構。其中大部分是人工神經網絡，也有一些完全不同的怪物。盡管所有這些架構都各不相同、功能獨特，當我在畫它們的節點圖時……其中潛在的關系開始逐漸清晰起來。
把這些架構做成節點圖，會存在一個問題：它無法展示神經網絡架構內部的工作原理。舉例來說，變分自編碼機（VAE：variational autoencoders ）看起來跟自編碼機（AE：autoencoders）差不多，但它們的訓練過程卻大不相同。訓練后的模型在使用場景上差別更大：VAE是生成器，通過插入噪音數據來獲取新樣本；而AE僅僅是把他們所收到的任何信息作為輸入，映射到“記憶中”最相似的訓練樣本上。
在介紹不同模型的神經元和神經細胞層之間的連接方式前，我們一步一步來，先來了解不同的神經元節點內部是如何工作的。
1.1 神經元
對不同類型的神經元標記不同的顏色，可以更好地在各種網絡架構之間進行區分。但是，這些神經元的工作方式卻是大同小異。在下圖的基本神經元結構后面，你會看到詳細的講解：
基本的人工神經網絡神經元（basic neural network cell）相當簡單，這種簡單的類型可以在常規的前饋人工神經網絡架構里面找到。這種神經元與其它神經元之間的連接具有權重，也就是說，它可以和前一層神經網絡層中的所有神經元有連接。
每一個連接都有各自的權重，通常情況下是一些隨機值（關于如何對人工神經網絡的權重進行初始化是一個非常重要的話題，這將會直接影響到之后的訓練過程，以及最終整個模型的性能）。這個權重可以是負值，正值，非常小，或者非常大，也可以是零。和這個神經元連接的所有神經元的值都會乘以各自對應的權重。然后，把這些值都求和。
在這個基礎上，會額外加上一個bias，它可以用來避免輸出為零的情況，并且能夠加速某些操作，這讓解決某個問題所需要的神經元數量也有所減少。這個bias也是一個數字，有些時候是一個常量（經常是-1或者1），有些時候會有所變化。這個總和最終被輸入到一個激活函數，這個激活函數的輸出最終就成為這個神經元的輸出。
1.2卷積神經元（Convolutional cells）
和前饋神經元非常相似，除了它們只跟前一神經細胞層的部分神經元有連接。因為它們不是和某些神經元隨機連接的，而是與特定范圍內的神經元相連接，通常用來保存空間信息。這讓它們對于那些擁有大量局部信息，比如圖像數據、語音數據（但多數情況下是圖像數據），會非常實用。
1.3 解卷積神經元
恰好相反：它們是通過跟下一神經細胞層的連接來解碼空間信息。這兩種神經元都有很多副本，它們都是獨立訓練的；每個副本都有自己的權重，但連接方式卻完全相同。可以認為，這些副本是被放在了具備相同結構的不同的神經網絡中。這兩種神經元本質上都是一般意義上的神經元，但是，它們的使用方式卻不同。
1.4 池化神經元和插值神經元（Pooling and interpolating cells）
經常和卷積神經元結合起來使用。它們不是真正意義上的神經元，只能進行一些簡單的操作。
池化神經元接受到來自其它神經元的輸出過后，決定哪些值可以通過，哪些值不能通過。在圖像領域，可以理解成是把一個圖像縮小了（在查看圖片的時候，一般軟件都有一個放大、縮小的功能；這里的圖像縮小，就相當于軟件上的縮小圖像；也就是說我們能看到圖像的內容更加少了；在這個池化的過程當中，圖像的大小也會相應地減少）。這樣，你就再也不能看到所有的像素了，池化函數會知道什么像素該保留，什么像素該舍棄。
插值神經元恰好是相反的操作：它們獲取一些信息，然后映射出更多的信息。額外的信息都是按照某種方式制造出來的，這就好像在一張小分辨率的圖片上面進行放大。插值神經元不僅僅是池化神經元的反向操作，而且，它們也是很常見，因為它們運行非常快，同時，實現起來也很簡單。池化神經元和插值神經元之間的關系，就像卷積神經元和解卷積神經元之間的關系。
1.5均值神經元和標準方差神經元（Mean and standard deviation cells）（作為概率神經元它們總是成對地出現）
是一類用來描述數據概率分布的神經元。均值就是所有值的平均值，而標準方差描述的是這些數據偏離（兩個方向）均值有多遠。比如：一個用于圖像處理的概率神經元可以包含一些信息，比如：在某個特定的像素里面有多少紅色。舉個例來說，均值可能是0.5，同時標準方差是0.2。當要從這些概率神經元取樣的時候，你可以把這些值輸入到一個高斯隨機數生成器，這樣就會生成一些分布在0.4和0.6之間的值；值離0.5越遠，對應生成的概率也就越小。它們一般和前一神經元層或者下一神經元層是全連接，而且，它們沒有偏差（bias）。
1.6 循環神經元（Recurrent cells ）
不僅僅在神經細胞層之間有連接，而且在時間軸上也有相應的連接。每一個神經元內部都會保存它先前的值。它們跟一般的神經元一樣更新，但是，具有額外的權重：與當前神經元之前值之間的權重，還有大多數情況下，與同一神經細胞層各個神經元之間的權重。當前值和存儲的先前值之間權重的工作機制，與非永久性存儲器（比如RAM）的工作機制很相似，繼承了兩個性質：
- 第一，維持一個特定的狀態；
- 第二：如果不對其持續進行更新（輸入），這個狀態就會消失。
由于先前的值是通過激活函數得到的，而在每一次的更新時，都會把這個值和其它權重一起輸入到激活函數，因此，信息會不斷地流失。實際上，信息的保存率非常的低，以至于僅僅四次或者五次迭代更新過后，幾乎之前所有的信息都會流失掉。
1.7 長短期記憶神經元（Long short term memory cells）
用于克服循環神經元中信息快速流失的問題。
LSTM是一個邏輯回路，其設計受到了計算機內存單元設計的啟發。與只存儲兩個狀態的循環神經元相比，LSTM可以存儲四個狀態：輸出值的當前和先前值，記憶神經元狀態的當前值和先前值。它們都有三個門：輸入門，輸出門，遺忘門，同時，它們也還有常規的輸入。
這些門它們都有各自的權重，也就是說，與這種類型的神經元細胞連接需要設置四個權重（而不是一個）。這些門的工作機制與流門（flow gates）很相似，而不是柵欄門（fence gates）：它們可以讓所有的信息都通過，或者只是通過部分，也可以什么都不讓通過，或者通過某個區間的信息。
這種運行機制的實現是通過把輸入信息和一個在0到1之間的系數相乘，這個系數存儲在當前門中。這樣，輸入門決定輸入的信息有多少可以被疊加到當前門值。輸出門決定有多少輸出信息是可以傳遞到后面的神經網絡中。遺忘門并不是和輸出神經元的先前值相連接，而是，和前一記憶神經元相連接。它決定了保留多少記憶神經元最新的狀態信息。因為沒有和輸出相連接，以及沒有激活函數在這個循環中，因此只會有更少的信息流失。
1.8 門控循環神經元（Gated recurrent units (cells)）
是LSTM的變體。它們同樣使用門來抑制信息的流失，但是只用兩個門：更新門和重置門。這使得構建它們付出的代價沒有那么高，而且運行速度更加快了，因為它們在所有的地方使用了更少的連接。
從本質上來說LSTM和GRU有兩個不同的地方：
- 第一：GRU神經元沒有被輸出門保護的隱神經元；
- 第二：GRU把輸出門和遺忘門整合在了一起，形成了更新門。核心的思想就是如果你想要一些新的信息，那么你就可以遺忘掉一些陳舊的信息（反過來也可以）。
1.9 神經細胞層(Layers)
形成一個神經網絡，最簡單的連接神經元方式是——把所有的神經元與其它所有的神經元相連接。這就好像Hopfield神經網絡和玻爾茲曼機（Boltzmann machines）的連接方式。當然，這也就意味著連接數量會隨著神經元個數的增加呈指數級地增加，但是，對應的函數表達力也會越來越強。這就是所謂的全連接（completely (or fully) connected）。
經歷了一段時間的發展，發現把神經網絡分解成不同的神經細胞層會非常有效。神經細胞層的定義是一群彼此之間互不連接的神經元，它們僅跟其它神經細胞層有連接。這一概念在受限玻爾茲曼機（Restricted Boltzmann Machines）中有所體現。現在，使用神經網絡就意味著使用神經細胞層，并且是任意數量的神經細胞層。其中一個比較令人困惑的概念是全連接（fully connected or completely connected），也就是某一層的每個神經元跟另一層的所有神經元都有連接，但真正的全連接神經網絡相當罕見。
1.10 卷積連接層（Convolutionally connected layers）
相對于全連接層要有更多的限制：在卷積連接層中的每一個神經元只與相鄰的神經元層連接。圖像和聲音蘊含了大量的信息，如果一對一地輸入到神經網絡（比如，一個神經元對應一個像素）。卷積連接的形成，受益于保留空間信息更為重要的觀察。實踐證明這是一個非常好的猜測，因為現在大多數基于人工神經網絡的圖像和語音應用都使用了這種連接方式。然而，這種連接方式所需的代價遠遠低于全連接層的形式。從本質上來講，卷積連接方式起到重要性過濾的作用，決定哪些緊緊聯系在一起的信息包是重要的；卷積連接對于數據降維非常有用。
當然了，還有另外一種選擇，就是隨機連接神經元（randomly connected neurons）。這種形式的連接主要有兩種變體：
- 第一，允許部分神經元進行全連接。
- 第二，神經元層之間只有部分連接。
隨機連接方式有助于線性地降低人工神經網絡的性能；當全連接層遇到性能問題的時候，在大規模人工神經網絡中，使用隨機連接方式非常有益。擁有更多神經元且更加稀疏的神經元層在某些情況下運行效果更好，特別是很多的信息需要被存儲起來，但是，需要交換的信息并不多（這與卷積連接層的運行機制很相似，但是，它們是隨機的）。非常稀疏的連接網絡（1%或2%）也有被使用，比如ELMs, ESNs 和LSMs。這特別適用于脈沖網絡（spiking networks），因為一個神經元擁有更多的連接，它對應的權重具有的能量也就更少，這也就意味著將會有更少的擴展和重復模式。
1.11 時間滯后連接（Time delayed connections）
是指相連的神經元（通常是在同一個神經元層，甚至于一個神經元自己跟自己連接），它們不從前面的神經元層獲取信息，而是從神經元層先前的狀態獲取信息。這使得暫時（時間上或者序列上）聯系在一起的信息可以被存儲起來。這些形式的連接經常被手工重新進行設置，從而可以清除神經網絡的狀態。和常規連接的主要區別是，這種連接會持續不斷地改變，即便這個神經網絡當前沒有處于訓練狀態。
下圖展示了以上所介紹的神經網絡及其連接方式。當我卡在哪種神經元與哪個神經細胞層該連到一起的時候，就會拿這張圖出來作為參考（尤其是在處理和分析LSTM與GRU神經元時）：
顯而易見，整理一份完整的清單是不切實際的，因為新的架構正被源源不斷地發明出來。所以，接下來這份清單的目的，只想帶你一窺人工智能領域的基礎設施。對于每一個畫成節點圖的架構，我都會寫一個非常非常簡短的描述。你會發現這些描述還是很有用的，畢竟，總還是有一些你并不是那么熟悉的架構。
值得一提的是，雖說大多數的簡寫都已被普遍接受，但總會出現一些沖突。RNNs有時表示遞歸神經網絡（recursive neural networks），但大多時候，它們指的是循環神經網絡（recurrent neural networks）。這還沒完，它們在許多地方還會泛指各種循環架構，這包括在LSTMs、GRU甚至是雙向變體。AEs也經常會面臨同樣的問題，VAEs、DAEs及其相似結構有時都被簡稱為AEs。很多縮寫后面的“N”也常常會有所變化，因為同一個架構你既可稱之為卷積神經網絡（convolutional neural network），也可簡稱為卷積網絡（convolutional network），這樣就出現了CNN和CN兩種形式。
2. 前饋神經網絡（FFNN）
前饋神經感知網絡與感知機（FF or FFNN：Feed forward neural networks and P：perceptrons）非常簡單，信息從前往后流動（分別對應輸入和輸出）。
一般在描述神經網絡的時候，都是從它的層說起，即相互平行的輸入層、隱含層或者輸出層神經結構。單獨的神經細胞層內部，神經元之間互不相連；而一般相鄰的兩個神經細胞層則是全連接（一層的每個神經元和另一層的每一個神經元相連）。一個最簡單卻最具有實用性的神經網絡由兩個輸入神經元和一個輸出神經元構成，也就是一個邏輯門模型。給神經網絡一對數據集（分別是“輸入數據集”和“我們期望的輸出數據集”），一般通過反向傳播算法來訓練前饋神經網絡（FFNNs）。
這就是所謂的監督式學習。與此相反的是無監督學習：我們只給輸入，然后讓神經網絡去尋找數據當中的規律。反向傳播的誤差往往是神經網絡當前輸出和給定輸出之間差值的某種變體（比如MSE或者僅僅是差值的線性變化）。如果神經網絡具有足夠的隱層神經元，那么理論上它總是能夠建立輸入數據和輸出數據之間的關系。在實踐中，FFNN的使用具有很大的局限性，但是，它們通常和其它神經網絡一起組合成新的架構。
參考文獻：
Rosenblatt, Frank. “The perceptron: a probabilistic model for information storage and organization in the brain.” Psychological review 65.6 (1958): 386.
3. 徑向基神經網絡（RBF）
徑向神經網絡（RBF：Radial basis function）是一種以徑向基核函數作為激活函數的前饋神經網絡。沒有更多描述了。這不是說沒有相關的應用，但大多數以其它函數作為激活函數的FFNNs都沒有它們自己的名字。這或許跟它們的發明年代有關系。
參考文獻：
Broomhead, David S., and David Lowe. Radial basis functions, multi-variable functional interpolation and adaptive networks. No. RSRE-MEMO-4148. ROYAL SIGNALS AND RADAR ESTABLISHMENT MALVERN (UNITED KINGDOM), 1988.
4. 霍普菲爾網絡（HN）
霍普菲爾網絡（HN：Hopfield network）是一種每一個神經元都跟其它神經元相互連接的網絡。
這就像一盤完全攪在一起的意大利面，因為每個神經元都在充當所有角色：訓練前的每一個節點都是輸入神經元，訓練階段是隱神經元，輸出階段則是輸出神經元。
該神經網絡的訓練，是先把神經元的值設置到期望模式，然后計算相應的權重。在這以后，權重將不會再改變了。一旦網絡被訓練包含一種或者多種模式，這個神經網絡總是會收斂于其中的某一種學習到的模式，因為它只會在某一個狀態才會穩定。值得注意的是，它并不一定遵從那個期望的狀態（很遺憾，它并不是那個具有魔法的黑盒子）。它之所以會穩定下來，部分要歸功于在訓練期間整個網絡的“能量（Energy）”或“溫度（Temperature）”會逐漸地減少。每一個神經元的激活函數閾值都會被設置成這個溫度的值，一旦神經元輸入的總和超過了這個閾值，那么就會讓當前神經元選擇狀態（通常是-1或1，有時也是0或1）。
可以多個神經元同步，也可以一個神經元一個神經元地對網絡進行更新。一旦所有的神經元都已經被更新，并且它們再也沒有改變，整個網絡就算穩定（退火）了，那你就可以說這個網絡已經收斂了。這種類型的網絡被稱為“聯想記憶（associative memory）”，因為它們會收斂到和輸入最相似的狀態；比如，人類看到桌子的一半就可以想象出另外一半；與之相似，如果輸入一半噪音+一半桌子，這個網絡就能收斂到整張桌子。
參考文獻：
Hopfield, John J. “Neural networks and physical systems with emergent collective computational abilities.” Proceedings of the national academy of sciences 79.8 (1982): 2554-2558.
5. 馬爾可夫鏈（MC）
馬爾可夫鏈（MC：Markov Chain）或離散時間馬爾可夫鏈（DTMC：MC or discrete time Markov Chain）在某種意義上是BMs和HNs的前身。可以這樣來理解：從從我當前所處的節點開始，走到任意相鄰節點的概率是多少呢？它們沒有記憶（所謂的馬爾可夫特性）：你所得到的每一個狀態都完全依賴于前一個狀態。盡管算不上神經網絡，但它卻跟神經網絡類似，并且奠定了BM和HN的理論基礎。跟BM、RBM、HN一樣，MC并不總被認為是神經網絡。此外，它也并不總是全連接的。
參考文獻：
Hayes, Brian. “First links in the Markov chain.” American Scientist 101.2 (2013): 252.
6. 玻爾茲曼機（BM）
玻爾茲曼機（BM：Boltzmann machines）和霍普菲爾網絡很接近，差別只是：一些神經元作為輸入神經元，剩余的則是作為隱神經元。
在整個神經網絡更新過后，輸入神經元成為輸出神經元。剛開始神經元的權重都是隨機的，通過反向傳播（back-propagation）算法進行學習，或是最近常用的對比散度（contrastive divergence）算法（馬爾可夫鏈用于計算兩個信息增益之間的梯度）。
相比HN，大多數BM的神經元激活模式都是二元的。BM由MC訓練獲得，因而是一個隨機網絡。BM的訓練和運行過程，跟HN大同小異：為輸入神經元設好鉗位值，而后讓神經網絡自行學習。因為這些神經元可能會得到任意的值，我們反復地在輸入和輸出神經元之間來回地進行計算。激活函數的激活受全局溫度的控制，如果全局溫度降低了，那么神經元的能量也會相應地降低。這個能量上的降低導致了它們激活模式的穩定。在正確的溫度下，這個網絡會抵達一個平衡狀態。
參考文獻：
Hinton, Geoffrey E., and Terrence J. Sejnowski. “Learning and releaming in Boltzmann machines.” Parallel distributed processing: Explorations in the microstructure of cognition 1 (1986): 282-317.
8. 受限玻爾茲曼機（RBM）
受限玻爾茲曼機（RBM：Restricted Boltzmann machines）與BM出奇地相似，因而也同HN相似。
它們的最大區別在于：RBM更具實用價值，因為它們受到了更多的限制。它們不會隨意在所有神經元間建立連接，而只在不同神經元群之間建立連接，因此任何輸入神經元都不會同其他輸入神經元相連，任何隱神經元也不會同其他隱神經元相連。
RBM的訓練方式就像稍微修改過的FFNN：前向通過數據之后再將這些數據反向傳回（回到第一層），而非前向通過數據然后反向傳播誤差。之后，再使用前向和反向傳播進行訓練。
參考文獻：
Smolensky, Paul. Information processing in dynamical systems: Foundations of harmony theory. No. CU-CS-321-86. COLORADO UNIV AT BOULDER DEPT OF COMPUTER SCIENCE, 1986.
9. 自編碼機（AE）
自編碼機（AE：Autoencoders）和FFNN有些相近，因為它更像是FFNN的另一種用法，而非本質上完全不同的另一種架構。
自編碼機的基本思想是自動對信息進行編碼（像壓縮一樣，而非加密），它也因此而得名。整個網絡的形狀酷似一個沙漏計時器，中間的隱含層較小，兩邊的輸入層、輸出層較大。自編碼機總是對稱的，以中間層（一層還是兩層取決于神經網絡層數的奇偶）為軸。最小的層（一層或者多層）總是在中間，在這里信息壓縮程度最大（整個網絡的關隘口）。在中間層之前為編碼部分，中間層之后為解碼部分，中間層則是編碼部分。
自編碼機可用反向傳播算法進行訓練，給定輸入，將誤差設為輸入和輸出之差。自編碼機的權重也是對稱的，因此編碼部分權重與解碼部分權重完全一樣。
參考文獻:
Bourlard, Hervé, and Yves Kamp. “Auto-association by multilayer perceptrons and singular value decomposition.” Biological cybernetics 59.4-5 (1988): 291-294.
10. 稀疏自編碼機（SAE）
稀疏自編碼機（SAE：Sparse autoencoders）某種程度上同自編碼機相反。稀疏自編碼機不是用更小的空間表征大量信息，而是把原本的信息編碼到更大的空間內。因此，中間層不是收斂，而是擴張，然后再還原到輸入大小。它可以用于提取數據集內的小特征。
如果用訓練自編碼機的方式來訓練稀疏自編碼機，幾乎所有的情況，都是得到毫無用處的恒等網絡（輸入=輸出，沒有任何形式的變換或分解）。為避免這種情況，需要在反饋輸入中加上稀疏驅動數據。稀疏驅動的形式可以是閾值過濾，這樣就只有特定的誤差才會反向傳播用于訓練，而其它的誤差則被忽略為0，不會用于反向傳播。這很像脈沖神經網絡（并不是所有的神經元一直都會輸出）。
Marc’Aurelio Ranzato, Christopher Poultney, Sumit Chopra, and Yann LeCun. “Efficient learning of sparse representations with an energy-based model.” Proceedings of NIPS. 2007.
11.變分自編碼機（VAE）
變分自編碼機（VAE：Variational autoencoders）和AE有著相同的架構，卻被教會了不同的事情：輸入樣本的一個近似概率分布，這讓它跟BM、RBM更相近。
不過，VAE卻依賴于貝葉斯理論來處理概率推斷和獨立（probabilistic inference and independence），以及重新參數化（re-parametrisation）來進行不同的表征。推斷和獨立非常直觀，但卻依賴于復雜的數學理論。基本原理是：把影響納入考慮。如果在一個地方發生了一件事情，另外一件事情在其它地方發生了，它們不一定就是關聯在一起的。如果它們不相關，那么誤差傳播應該考慮這個因素。這是一個有用的方法，因為神經網絡是一個非常大的圖表，如果你能在某些節點排除一些來自于其它節點的影響，隨著網絡深度地增加，這將會非常有用。
Kingma, Diederik P., and Max Welling. “Auto-encoding variational bayes.” arXiv preprint arXiv:1312.6114 (2013).
12. 去噪自編碼機（DAE）
去噪自編碼機（DAE：Denoising autoencoders）是一種自編碼機，它的訓練過程，不僅要輸入數據，還有再加上噪音數據（就好像讓圖像變得更加模糊一樣）。
但在計算誤差的時候跟自動編碼機一樣，降噪自動編碼機的輸出也是和原始的輸入數據進行對比。這種形式的訓練旨在鼓勵降噪自編碼機不要去學習細節，而是一些更加宏觀的特征，因為細微特征受到噪音的影響，學習細微特征得到的模型最終表現出來的性能總是很差。
Vincent, Pascal, et al. “Extracting and composing robust features with denoising autoencoders.” Proceedings of the 25th international conference on Machine learning. ACM, 2008.
http://machinelearning.org/archive/icml2008/papers/592.pdf
13. 深度信念網絡（DBN）
深度信念網絡（DBN：Deep belief networks）之所以取這個名字，是由于它本身幾乎是由多個受限玻爾茲曼機或者變分自編碼機堆砌而成。
實踐表明一層一層地對這種類型的神經網絡進行訓練非常有效，這樣每一個自編碼機或者受限玻爾茲曼機只需要學習如何編碼前一神經元層的輸出。這種訓練技術也被稱為貪婪訓練，這里貪婪的意思是通過不斷地獲取局部最優解，最終得到一個相當不錯解（但可能不是全局最優的）。可以通過對比散度算法或者反向傳播算法進行訓練，它會慢慢學著以一種概率模型來表征數據，就好像常規的自編碼機或者受限玻爾茲曼機。一旦經過非監督式學習方式，訓練或者收斂到了一個穩定的狀態，那么這個模型就可以用來產生新的數據。如果以對比散度算法進行訓練，那么它甚至可以用于區分現有的數據，因為那些神經元已經被引導來獲取數據的不同特定。
Bengio, Yoshua, et al. “Greedy layer-wise training of deep networks.” Advances in neural information processing systems 19 (2007): 153.
https://papers.nips.cc/paper/3048-greedy-layer-wise-training-of-deep-networks.pdf
14. 卷積神經網絡（CNN）
卷積神經網絡（CNN：Convolutional neural networks）或深度卷積神經網絡（DCNN：deep convolutional neural networks）跟其它類型的神經網絡大有不同。它們主要用于處理圖像數據，但可用于其它形式數據的處理，如語音數據。對于卷積神經網絡來說，一個典型的應用就是給它輸入一個圖像，而后它會給出一個分類結果。也就是說，如果你給它一張貓的圖像，它就輸出“貓”；如果你給一張狗的圖像，它就輸出“狗”。
卷積神經網絡是從一個數據掃描層開始，這種形式的處理并沒有嘗試在一開始就解析整個訓練數據。比如：對于一個大小為200X200像素的圖像，你不會想構建一個40000個節點的神經元層。而是，構建一個20X20像素的輸入掃描層，然后，把原始圖像第一部分的20X20像素圖像（通常是從圖像的左上方開始）輸入到這個掃描層。當這部分圖像（可能是用于進行卷積神經網絡的訓練）處理完，你會接著處理下一部分的20X20像素圖像：逐漸（通常情況下是移動一個像素，但是，移動的步長是可以設置的）移動掃描層，來處理原始數據。
注意，你不是一次性移動掃描層20個像素（或其它任何掃描層大小的尺度），也不是把原始圖像切分成20X20像素的圖像塊，而是用掃描層在原始圖像上滑過。這個輸入數據（20X20像素的圖像塊）緊接著被輸入到卷積層，而非常規的神經細胞層——卷積層的節點不是全連接。每一個輸入節點只會和最近的那個神經元節點連接（至于多近要取決于具體的實現，但通常不會超過幾個）。
這些卷積層會隨著深度的增加而逐漸變小：大多數情況下，會按照輸入層數量的某個因子縮小（比如：20個神經元的卷積層，后面是10個神經元的卷積層，再后面就是5個神經元的卷積層）。2的n次方（32, 16, 8, 4, 2, 1）也是一個非常常用的因子，因為它們在定義上可以簡潔且完整地除盡。除了卷積層，池化層（pooling layers）也非常重要。
池化是一種過濾掉細節的方式：一種常用的池化方式是最大池化，比如用2X2的像素，然后取四個像素中值最大的那個傳遞。為了讓卷積神經網絡處理語音數據，需要把語音數據切分，一段一段輸入。在實際應用中，通常會在卷積神經網絡后面加一個前饋神經網絡，以進一步處理數據，從而對數據進行更高水平的非線性抽象。
LeCun, Yann, et al. “Gradient-based learning applied to document recognition.” Proceedings of the IEEE 86.11 (1998): 2278-2324.
http://yann.lecun.com/exdb/publis/pdf/lecun-98.pdf
15. 解卷積網絡（DN）
解卷積網絡（DN：Deconvolutional networks），又稱為逆圖形網絡（IGNs：inverse graphics networks），是逆向的卷積神經網絡。
想象一下，給一個神經網絡輸入一個“貓”的詞，就可以生成一個像貓一樣的圖像，通過比對它和真實的貓的圖片來進行訓練。跟常規CNN一樣，DN也可以結合FFNN使用，但沒必要為這個新的縮寫重新做圖解釋。它們可被稱為深度解卷積網絡，但把FFNN放到DNN前面和后面是不同的，那是兩種架構（也就需要兩個名字），對于是否需要兩個不同的名字你們可能會有爭論。需要注意的是，絕大多數應用都不會把文本數據直接輸入到神經網絡，而是用二元輸入向量。比如<0,1>代表貓，<1,0>代表狗，<1,1>代表貓和狗。
CNN的池化層往往也是被對應的逆向操作替換了，主要是插值和外推（基于一個基本的假設：如果一個池化層使用了最大池化，你可以在逆操作的時候生成一些相對于最大值更小的數據）。
Zeiler, Matthew D., et al. “Deconvolutional networks.” Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. IEEE, 2010.
http://www.matthewzeiler.com/pubs/cvpr2010/cvpr2010.pdf
16. 深度卷積逆向圖網絡（DCIGN）
深度卷積逆向圖網絡（DCIGN：Deep convolutional inverse graphics networks），這個名字具有誤導性，因為它們實際上是VAE，但分別用CNN、DNN來作編碼和解碼的部分。
這些網絡嘗試在編碼過程中對“特征“進行概率建模，這樣一來，你只要用貓和狗的獨照，就能讓它們生成一張貓和狗的合照。同理，你可以輸入一張貓的照片，如果貓旁邊有一只惱人的鄰家狗，你可以讓它們把狗去掉。很多演示表明，這種類型的網絡能學會基于圖像的復雜變換，比如燈光強弱的變化、3D物體的旋轉。一般也是用反向傳播算法來訓練此類網絡。
Kulkarni, Tejas D., et al. “Deep convolutional inverse graphics network.” Advances in Neural Information Processing Systems. 2015.
https://arxiv.org/pdf/1503.03167v4.pdf
17. 生成式對抗網絡（GAN）
生成式對抗網絡（GAN：Generative adversarial networks）是一類不同的網絡，它們有一對“雙胞胎”：兩個網絡協同工作。
GAN可由任意兩種網絡組成（但通常是FF和CNN），其中一個用于生成內容，另一個則用于鑒別生成的內容。
鑒別網絡（discriminating network）同時接收訓練數據和生成網絡（generative network）生成的數據。鑒別網絡的準確率，被用作生成網絡誤差的一部分。這就形成了一種競爭：鑒別網絡越來越擅長于區分真實的數據和生成數據，而生成網絡也越來越善于生成難以預測的數據。這種方式非常有效，部分是因為：即便相當復雜的類噪音模式最終都是可預測的，但跟輸入數據有著極為相似特征的生成數據，則很難區分。
訓練GAN極具挑戰性，因為你不僅要訓練兩個神經網絡（其中的任何一個都會出現它自己的問題），同時還要平衡兩者的運行機制。如果預測或生成相比對方表現得過好，這個GAN就不會收斂，因為它會內部發散。
Goodfellow, Ian, et al. “Generative adversarial nets.” Advances in Neural Information Processing Systems. 2014.
https://arxiv.org/pdf/1406.2661v1.pdf
18. 循環神經網絡（RNN）
循環神經網絡（RNN：Recurrent neural networks）是具有時間聯結的前饋神經網絡：它們有了狀態，通道與通道之間有了時間上的聯系。神經元的輸入信息，不僅包括前一神經細胞層的輸出，還包括它自身在先前通道的狀態。
這就意味著：你的輸入順序將會影響神經網絡的訓練結果：相比先輸入“曲奇餅”再輸入“牛奶”，先輸入“牛奶”再輸入“曲奇餅”后，或許會產生不同的結果。RNN存在一大問題：梯度消失（或梯度爆炸，這取決于所用的激活函數），信息會隨時間迅速消失，正如FFNN會隨著深度的增加而失去信息一樣。
直覺上，這不算什么大問題，因為這些都只是權重，而非神經元的狀態，但隨時間變化的權重正是來自過去信息的存儲；如果權重是0或1000000，那之前的狀態就不再有信息價值。
原則上，RNN可以在很多領域使用，因為大部分數據在形式上不存在時間線的變化，（不像語音或視頻），它們能以某種序列的形式呈現出來。一張圖片或一段文字可以一個像素或者一個文字地進行輸入，因此，與時間相關的權重描述了該序列前一步發生了什么，而不是多少秒之前發生了什么。一般來說，循環神經網絡是推測或補全信息很好的選擇，比如自動補全。
Elman, Jeffrey L. “Finding structure in time.” Cognitive science 14.2 (1990): 179-211.
https://crl.ucsd.edu/~elman/Papers/fsit.pdf
19. 長短期記憶（LSTM）
長短期記憶（LSTM：Long / short term memory）網絡試圖通過引入門結構與明確定義的記憶單元來解決梯度消失/爆炸的問題。
這更多的是受電路圖設計的啟發，而非生物學上某種和記憶相關機制。每個神經元都有一個記憶單元和三個門：輸入門、輸出門、遺忘門。這三個門的功能就是通過禁止或允許信息流動來保護信息。
輸入門決定了有多少前一神經細胞層的信息可留在當前記憶單元，輸出層在另一端決定下一神經細胞層能從當前神經元獲取多少信息。遺忘門乍看很奇怪，但有時候遺忘部分信息是很有用的：比如說它在學習一本書，并開始學一個新的章節，那遺忘前面章節的部分角色就很有必要了。
實踐證明，LSTM可用來學習復雜的序列，比如像莎士比亞一樣寫作，或創作全新的音樂。值得注意的是，每一個門都對前一神經元的記憶單元賦有一個權重，因此會需要更多的計算資源。
Hochreiter, Sepp, and Jürgen Schmidhuber. “Long short-term memory.” Neural computation 9.8 (1997): 1735-1780.
http://deeplearning.cs.cmu.edu/pdfs/Hochreiter97_lstm.pdf
20. 門循環單元（GRU）
門循環單元（GRU : Gated recurrent units）是LSTM的一種輕量級變體。它們少了一個門，同時連接方式也稍有不同：它們采用了一個更新門（update gate），而非LSTM所用的輸入門、輸出門、遺忘門。
更新門決定了保留多少上一個狀態的信息，還決定了收取多少來自前一神經細胞層的信息。重置門（reset gate）跟LSTM遺忘門的功能很相似，但它存在的位置卻稍有不同。它們總是輸出完整的狀態，沒有輸出門。多數情況下，它們跟LSTM類似，但最大的不同是：GRU速度更快、運行更容易（但函數表達力稍弱）。
在實踐中，這里的優勢和劣勢會相互抵消：當你你需要更大的網絡來獲取函數表達力時，這樣反過來，性能優勢就被抵消了。在不需要額外的函數表達力時，GRU的綜合性能要好于LSTM。
Chung, Junyoung, et al. “Empirical evaluation of gated recurrent neural networks on sequence modeling.” arXiv preprint arXiv:1412.3555 (2014).
https://arxiv.org/pdf/1412.3555v1.pdf
21. 神經圖靈機（NTM）
神經圖靈機（NTM: Neural Turing machines）可以理解為對LSTM的抽象，它試圖把神經網絡去黑箱化（以窺探其內部發生的細節）。
NTM不是把記憶單元設計在神經元內，而是分離出來。NTM試圖結合常規數字信息存儲的高效性、永久性與神經網絡的效率及函數表達能力。它的想法是設計一個可作內容尋址的記憶庫，并讓神經網絡對其進行讀寫操作。NTM名字中的“圖靈（Turing）”是表明，它是圖靈完備（Turing complete）的，即具備基于它所讀取的內容來讀取、寫入、修改狀態的能力，也就是能表達一個通用圖靈機所能表達的一切。
Graves, Alex, Greg Wayne, and Ivo Danihelka. “Neural turing machines.” arXiv preprint arXiv:1410.5401 (2014).
https://arxiv.org/pdf/1410.5401v2.pdf
22. BiRNN、BiLSTM、BiGRU
雙向循環神經網絡（BiRNN：Bidirectional recurrent neural networks）、雙向長短期記憶網絡（BiLSTM：bidirectional long / short term memory networks ）和雙向門控循環單元（BiGRU：bidirectional gated recurrent units）在圖表中并未呈現出來，因為它們看起來與其對應的單向神經網絡結構一樣。
所不同的是，這些網絡不僅與過去的狀態有連接，而且與未來的狀態也有連接。比如，通過一個一個地輸入字母，訓練單向的LSTM預測“魚（fish）”（在時間軸上的循環連接記住了過去的狀態值）。在BiLSTM的反饋通路輸入序列中的下一個字母，這使得它可以了解未來的信息是什么。這種形式的訓練使得該網絡可以填充信息之間的空白，而不是預測信息。因此，它在處理圖像時不是擴展圖像的邊界，而是填補一張圖片中的缺失。
Schuster, Mike, and Kuldip K. Paliwal. “Bidirectional recurrent neural networks.” IEEE Transactions on Signal Processing 45.11 (1997): 2673-2681.
http://www.di.ufpe.br/~fnj/RNA/bibliografia/BRNN.pdf
23. 深度殘差網絡（DRN）
深度殘差網絡（DRN: Deep residual networks）是非常深的FFNN網絡，它有一種特殊的連接，可以把信息從某一神經細胞層傳至后面幾層（通常是2到5層）。
該網絡的目的不是要找輸入數據與輸出數據之間的映射，而是致力于構建輸入數據與輸出數據+輸入數據之間的映射函數。本質上，它在結果中增加一個恒等函數，并跟前面的輸入一起作為后一層的新輸入。結果表明，當層數超過150后，這一網絡將非常擅于學習模式，這比常規的2到5層要多得多。然而，有證據表明這些網絡本質上只是沒有時間結構的RNN，它們總是與沒有門結構的LSTM相提并論。
He, Kaiming, et al. “Deep residual learning for image recognition.” arXiv preprint arXiv:1512.03385 (2015).
https://arxiv.org/pdf/1512.03385v1.pdf
24. 回聲狀態網絡（ESN）
回聲狀態網絡（ESN：Echo state networks）是另一種不同類型的（循環）網絡。
它的不同之處在于：神經元之間的連接是隨機的（沒有整齊劃一的神經細胞層），其訓練過程也有所不同。不同于輸入數據后反向傳播誤差，ESN先輸入數據、前饋、而后更新神經元狀態，最后來觀察結果。它的輸入層和輸出層在這里扮演的角色不太常規，輸入層用來主導網絡，輸出層作為激活模式的觀測器隨時間展開。在訓練過程中，只有觀測和隱藏單元之間連接會被改變。
Jaeger, Herbert, and Harald Haas. “Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication.” science 304.5667 (2004): 78-80.
https://pdfs.semanticscholar.org/8922/17bb82c11e6e2263178ed20ac23db6279c7a.pdf
25. 極限學習機（ELM）
極限學習機（ELM：Extreme learning machines）本質上是擁有隨機連接的FFNN。
它們與LSM、ESN極為相似，除了循環特征和脈沖性質，它們還不使用反向傳播。相反，它們先給權重設定隨機值，然后根據最小二乘法擬合來一次性訓練權重（在所有函數中誤差最小）。這使ELM的函數擬合能力較弱，但其運行速度比反向傳播快多了。
Cambria, Erik, et al. “Extreme learning machines [trends & controversies].” IEEE Intelligent Systems 28.6 (2013): 30-59.
http://www.ntu.edu.sg/home/egbhuang/pdf/ieee-is-elm.pdf
26. 液態機（LSM）
液態機（LSM：Liquid state machines）換湯不換藥，跟ESN同樣相近。
區別在于，LSM是一種脈沖神經網絡（spiking neural networks），用閾值激活函數（threshold functions）取代了sigmoid激活函數，每個神經元同時也是具有累加性質的記憶單元。因此，當神經元狀態更新時，其值不是相鄰神經元的累加值，而是它自身狀態值的累加。一旦累加到閾值，它就釋放能量至其它神經元。這就形成了一種類似于脈沖的模式：神經元不會進行任何操作，直至到達閾值的那一刻。
Maass, Wolfgang, Thomas Natschl?ger, and Henry Markram. “Real-time computing without stable states: A new framework for neural computation based on perturbations.” Neural computation 14.11 (2002): 2531-2560.
https://web.archive.org/web/20120222154641/http://ramsesii.upf.es/seminar/Maass_et_al_2002.pdf
27. 支持向量機（SVM）
支持向量機（SVM：Support vector machines）能為分類問題找出最優方案。
傳統意義上，它們只能處理線性可分的數據；比如找出哪張圖片是加菲貓、哪張是史努比，此外就無法做其它輸出了。
訓練過程中，SVM可以理解為：先在平面圖表上標繪所有數據（加菲貓、史努比），然后找出到那條能夠最好區分這兩類數據點的線。這條線能把數據分為兩部分，線的這邊全是史努比，線的那邊全是加菲貓。而后移動并優化該直線，令兩邊數據點到直線的距離最大化。分類新的數據，則將該數據點畫在這個圖表上，然后察看這個數據點在分隔線的哪一邊（史努比一側，還是加菲貓一側）。
通過使用核方法，SVM便可用來分類n維空間的數據。這就引出了在3維空間中標繪數據點，從而讓SVM可以區分史努比、加菲貓與西蒙，甚至在更高的維度對更多卡通人物進行分類。SVM并不總被視為神經網絡。
Cortes, Corinna, and Vladimir Vapnik. “Support-vector networks.” Machine learning 20.3 (1995): 273-297.
http://image.diku.dk/imagecanon/material/cortes_vapnik95.pdf
28. Kohonen 網絡
最后，我們來介紹一下Kohonen網絡（KN，也稱之為自組織（特征）映射（SOM/SOFM：self organising (feature) map））。
KN利用競爭學習來對數據進行分類，不需要監督。先給神經網絡一個輸入，而后它會評估哪個神經元最匹配該輸入。然后這個神經元會繼續調整以更好地匹配輸入數據，同時帶動相鄰的神經元。相鄰神經元移動的距離，取決于它們與最佳匹配單元之間的距離。KN有時也不被認為是神經網絡。
總結
- 上一篇： 你比我猜游戏爆笑词语有哪些(汉典你字的基
- 下一篇： CSS中的inherit使用分析