从神经元到CNN、RNN、GAN…神经网络看本文绝对够了
在深度學習十分火熱的今天，不時會涌現(xiàn)出各種新型的人工神經(jīng)網(wǎng)絡，想要實時了解這些新型神經(jīng)網(wǎng)絡的架構還真是不容易。光是知道各式各樣的神經(jīng)網(wǎng)絡模型縮寫（如：DCIGN、BiLSTM、DCGAN……還有哪些？)，就已經(jīng)讓人招架不住了。
因此，這里整理出一份清單來梳理所有這些架構。其中大部分是人工神經(jīng)網(wǎng)絡，也有一些完全不同的怪物。盡管所有這些架構都各不相同、功能獨特，當我在畫它們的節(jié)點圖時……其中潛在的關系開始逐漸清晰起來。
把這些架構做成節(jié)點圖，會存在一個問題：它無法展示神經(jīng)網(wǎng)絡架構內(nèi)部的工作原理。舉例來說，變分自編碼機（VAE：variational autoencoders ）看起來跟自編碼機（AE：autoencoders）差不多，但它們的訓練過程卻大不相同。訓練后的模型在使用場景上差別更大：VAE是生成器，通過插入噪音數(shù)據(jù)來獲取新樣本；而AE僅僅是把他們所收到的任何信息作為輸入，映射到“記憶中”最相似的訓練樣本上。
在介紹不同模型的神經(jīng)元和神經(jīng)細胞層之間的連接方式前，我們一步一步來，先來了解不同的神經(jīng)元節(jié)點內(nèi)部是如何工作的。
?
神經(jīng)元
對不同類型的神經(jīng)元標記不同的顏色，可以更好地在各種網(wǎng)絡架構之間進行區(qū)分。但是，這些神經(jīng)元的工作方式卻是大同小異。在下圖的基本神經(jīng)元結構后面，你會看到詳細的講解：
基本的人工神經(jīng)網(wǎng)絡神經(jīng)元（basic neural network cell）
相當簡單，這種簡單的類型可以在常規(guī)的前饋人工神經(jīng)網(wǎng)絡架構里面找到。這種神經(jīng)元與其它神經(jīng)元之間的連接具有權重，也就是說，它可以和前一層神經(jīng)網(wǎng)絡層中的所有神經(jīng)元有連接。
每一個連接都有各自的權重，通常情況下是一些隨機值（關于如何對人工神經(jīng)網(wǎng)絡的權重進行初始化是一個非常重要的話題，這將會直接影響到之后的訓練過程，以及最終整個模型的性能）。這個權重可以是負值，正值，非常小，或者非常大，也可以是零。和這個神經(jīng)元連接的所有神經(jīng)元的值都會乘以各自對應的權重。然后，把這些值都求和。
在這個基礎上，會額外加上一個bias，它可以用來避免輸出為零的情況，并且能夠加速某些操作，這讓解決某個問題所需要的神經(jīng)元數(shù)量也有所減少。這個bias也是一個數(shù)字，有些時候是一個常量（經(jīng)常是-1或者1），有些時候會有所變化。這個總和最終被輸入到一個激活函數(shù)，這個激活函數(shù)的輸出最終就成為這個神經(jīng)元的輸出。
卷積神經(jīng)元（Convolutional cells）
和前饋神經(jīng)元非常相似，除了它們只跟前一神經(jīng)細胞層的部分神經(jīng)元有連接。因為它們不是和某些神經(jīng)元隨機連接的，而是與特定范圍內(nèi)的神經(jīng)元相連接，通常用來保存空間信息。這讓它們對于那些擁有大量局部信息，比如圖像數(shù)據(jù)、語音數(shù)據(jù)（但多數(shù)情況下是圖像數(shù)據(jù)），會非常實用。
解卷積神經(jīng)元
恰好相反：它們是通過跟下一神經(jīng)細胞層的連接來解碼空間信息。這兩種神經(jīng)元都有很多副本，它們都是獨立訓練的；每個副本都有自己的權重，但連接方式卻完全相同?？梢哉J為，這些副本是被放在了具備相同結構的不同的神經(jīng)網(wǎng)絡中。這兩種神經(jīng)元本質上都是一般意義上的神經(jīng)元，但是，它們的使用方式卻不同。
池化神經(jīng)元和插值神經(jīng)元（Pooling and interpolating cells）
經(jīng)常和卷積神經(jīng)元結合起來使用。它們不是真正意義上的神經(jīng)元，只能進行一些簡單的操作。
池化神經(jīng)元接受到來自其它神經(jīng)元的輸出過后，決定哪些值可以通過，哪些值不能通過。在圖像領域，可以理解成是把一個圖像縮小了（在查看圖片的時候，一般軟件都有一個放大、縮小的功能；這里的圖像縮小，就相當于軟件上的縮小圖像；也就是說我們能看到圖像的內(nèi)容更加少了；在這個池化的過程當中，圖像的大小也會相應地減少）。這樣，你就再也不能看到所有的像素了，池化函數(shù)會知道什么像素該保留，什么像素該舍棄。
插值神經(jīng)元恰好是相反的操作：它們獲取一些信息，然后映射出更多的信息。額外的信息都是按照某種方式制造出來的，這就好像在一張小分辨率的圖片上面進行放大。插值神經(jīng)元不僅僅是池化神經(jīng)元的反向操作，而且，它們也是很常見，因為它們運行非?？?#xff0c;同時，實現(xiàn)起來也很簡單。池化神經(jīng)元和插值神經(jīng)元之間的關系，就像卷積神經(jīng)元和解卷積神經(jīng)元之間的關系。
均值神經(jīng)元和標準方差神經(jīng)元（Mean and standard deviation cells）
（作為概率神經(jīng)元它們總是成對地出現(xiàn)）是一類用來描述數(shù)據(jù)概率分布的神經(jīng)元。均值就是所有值的平均值，而標準方差描述的是這些數(shù)據(jù)偏離（兩個方向）均值有多遠。比如：一個用于圖像處理的概率神經(jīng)元可以包含一些信息，比如：在某個特定的像素里面有多少紅色。舉個例來說，均值可能是0.5，同時標準方差是0.2。當要從這些概率神經(jīng)元取樣的時候，你可以把這些值輸入到一個高斯隨機數(shù)生成器，這樣就會生成一些分布在0.4和0.6之間的值；值離0.5越遠，對應生成的概率也就越小。它們一般和前一神經(jīng)元層或者下一神經(jīng)元層是全連接，而且，它們沒有偏差（bias）。
循環(huán)神經(jīng)元（Recurrent cells?）
不僅僅在神經(jīng)細胞層之間有連接，而且在時間軸上也有相應的連接。每一個神經(jīng)元內(nèi)部都會保存它先前的值。它們跟一般的神經(jīng)元一樣更新，但是，具有額外的權重：與當前神經(jīng)元之前值之間的權重，還有大多數(shù)情況下，與同一神經(jīng)細胞層各個神經(jīng)元之間的權重。當前值和存儲的先前值之間權重的工作機制，與非永久性存儲器（比如RAM）的工作機制很相似，繼承了兩個性質：
第一，維持一個特定的狀態(tài)；
第二：如果不對其持續(xù)進行更新（輸入），這個狀態(tài)就會消失。
由于先前的值是通過激活函數(shù)得到的，而在每一次的更新時，都會把這個值和其它權重一起輸入到激活函數(shù)，因此，信息會不斷地流失。實際上，信息的保存率非常的低，以至于僅僅四次或者五次迭代更新過后，幾乎之前所有的信息都會流失掉。
長短期記憶神經(jīng)元（Long short term memory cells）
用于克服循環(huán)神經(jīng)元中信息快速流失的問題。
LSTM是一個邏輯回路，其設計受到了計算機內(nèi)存單元設計的啟發(fā)。與只存儲兩個狀態(tài)的循環(huán)神經(jīng)元相比，LSTM可以存儲四個狀態(tài)：輸出值的當前和先前值，記憶神經(jīng)元狀態(tài)的當前值和先前值。它們都有三個門：輸入門，輸出門，遺忘門，同時，它們也還有常規(guī)的輸入。
這些門它們都有各自的權重，也就是說，與這種類型的神經(jīng)元細胞連接需要設置四個權重（而不是一個）。這些門的工作機制與流門（flow gates）很相似，而不是柵欄門（fence gates）：它們可以讓所有的信息都通過，或者只是通過部分，也可以什么都不讓通過，或者通過某個區(qū)間的信息。
這種運行機制的實現(xiàn)是通過把輸入信息和一個在0到1之間的系數(shù)相乘，這個系數(shù)存儲在當前門中。這樣，輸入門決定輸入的信息有多少可以被疊加到當前門值。輸出門決定有多少輸出信息是可以傳遞到后面的神經(jīng)網(wǎng)絡中。遺忘門并不是和輸出神經(jīng)元的先前值相連接，而是，和前一記憶神經(jīng)元相連接。它決定了保留多少記憶神經(jīng)元最新的狀態(tài)信息。因為沒有和輸出相連接，以及沒有激活函數(shù)在這個循環(huán)中，因此只會有更少的信息流失。
門控循環(huán)神經(jīng)元（Gated recurrent units (cells)）
是LSTM的變體。它們同樣使用門來抑制信息的流失，但是只用兩個門：更新門和重置門。這使得構建它們付出的代價沒有那么高，而且運行速度更加快了，因為它們在所有的地方使用了更少的連接。
從本質上來說LSTM和GRU有兩個不同的地方：
第一：GRU神經(jīng)元沒有被輸出門保護的隱神經(jīng)元；
第二：GRU把輸出門和遺忘門整合在了一起，形成了更新門。核心的思想就是如果你想要一些新的信息，那么你就可以遺忘掉一些陳舊的信息（反過來也可以）。
?
神經(jīng)細胞層(Layers)
形成一個神經(jīng)網(wǎng)絡，最簡單的連接神經(jīng)元方式是——把所有的神經(jīng)元與其它所有的神經(jīng)元相連接。這就好像Hopfield神經(jīng)網(wǎng)絡和玻爾茲曼機（Boltzmann machines）的連接方式。當然，這也就意味著連接數(shù)量會隨著神經(jīng)元個數(shù)的增加呈指數(shù)級地增加，但是，對應的函數(shù)表達力也會越來越強。這就是所謂的全連接（completely (or fully) connected）。
經(jīng)歷了一段時間的發(fā)展，發(fā)現(xiàn)把神經(jīng)網(wǎng)絡分解成不同的神經(jīng)細胞層會非常有效。神經(jīng)細胞層的定義是一群彼此之間互不連接的神經(jīng)元，它們僅跟其它神經(jīng)細胞層有連接。這一概念在受限玻爾茲曼機（Restricted Boltzmann Machines）中有所體現(xiàn)?，F(xiàn)在，使用神經(jīng)網(wǎng)絡就意味著使用神經(jīng)細胞層，并且是任意數(shù)量的神經(jīng)細胞層。其中一個比較令人困惑的概念是全連接（fully connected or completely connected），也就是某一層的每個神經(jīng)元跟另一層的所有神經(jīng)元都有連接，但真正的全連接神經(jīng)網(wǎng)絡相當罕見。
卷積連接層（Convolutionally connected layers）
相對于全連接層要有更多的限制：在卷積連接層中的每一個神經(jīng)元只與相鄰的神經(jīng)元層連接。圖像和聲音蘊含了大量的信息，如果一對一地輸入到神經(jīng)網(wǎng)絡（比如，一個神經(jīng)元對應一個像素）。卷積連接的形成，受益于保留空間信息更為重要的觀察。實踐證明這是一個非常好的猜測，因為現(xiàn)在大多數(shù)基于人工神經(jīng)網(wǎng)絡的圖像和語音應用都使用了這種連接方式。然而，這種連接方式所需的代價遠遠低于全連接層的形式。從本質上來講，卷積連接方式起到重要性過濾的作用，決定哪些緊緊聯(lián)系在一起的信息包是重要的；卷積連接對于數(shù)據(jù)降維非常有用。
當然了，還有另外一種選擇，就是隨機連接神經(jīng)元（randomly connected neurons）。這種形式的連接主要有兩種變體：
第一，允許部分神經(jīng)元進行全連接。
第二，神經(jīng)元層之間只有部分連接。
隨機連接方式有助于線性地降低人工神經(jīng)網(wǎng)絡的性能；當全連接層遇到性能問題的時候，在大規(guī)模人工神經(jīng)網(wǎng)絡中，使用隨機連接方式非常有益。擁有更多神經(jīng)元且更加稀疏的神經(jīng)元層在某些情況下運行效果更好，特別是很多的信息需要被存儲起來，但是，需要交換的信息并不多（這與卷積連接層的運行機制很相似，但是，它們是隨機的）。非常稀疏的連接網(wǎng)絡（1%或2%）也有被使用，比如ELMs, ESNs?和LSMs。這特別適用于脈沖網(wǎng)絡（spiking networks），因為一個神經(jīng)元擁有更多的連接，它對應的權重具有的能量也就更少，這也就意味著將會有更少的擴展和重復模式。
時間滯后連接（Time delayed connections）
是指相連的神經(jīng)元（通常是在同一個神經(jīng)元層，甚至于一個神經(jīng)元自己跟自己連接），它們不從前面的神經(jīng)元層獲取信息，而是從神經(jīng)元層先前的狀態(tài)獲取信息。這使得暫時（時間上或者序列上）聯(lián)系在一起的信息可以被存儲起來。這些形式的連接經(jīng)常被手工重新進行設置，從而可以清除神經(jīng)網(wǎng)絡的狀態(tài)。和常規(guī)連接的主要區(qū)別是，這種連接會持續(xù)不斷地改變，即便這個神經(jīng)網(wǎng)絡當前沒有處于訓練狀態(tài)。
下圖展示了以上所介紹的神經(jīng)網(wǎng)絡及其連接方式。當我卡在哪種神經(jīng)元與哪個神經(jīng)細胞層該連到一起的時候，就會拿這張圖出來作為參考（尤其是在處理和分析LSTM與GRU神經(jīng)元時）：
顯而易見，整理一份完整的清單是不切實際的，因為新的架構正被源源不斷地發(fā)明出來。所以，接下來這份清單的目的，只想帶你一窺人工智能領域的基礎設施。對于每一個畫成節(jié)點圖的架構，我都會寫一個非常非常簡短的描述。你會發(fā)現(xiàn)這些描述還是很有用的，畢竟，總還是有一些你并不是那么熟悉的架構。
以下內(nèi)容將詳細介紹25個神經(jīng)網(wǎng)絡模型，如果你想閱讀關于它們的原始論文，請在微信中回復“神經(jīng)網(wǎng)絡”，即可獲得打包的PDF文件。
值得一提的是，雖說大多數(shù)的簡寫都已被普遍接受，但總會出現(xiàn)一些沖突。RNNs有時表示遞歸神經(jīng)網(wǎng)絡（recursive neural networks），但大多時候，它們指的是循環(huán)神經(jīng)網(wǎng)絡（recurrent neural networks）。這還沒完，它們在許多地方還會泛指各種循環(huán)架構，這包括在LSTMs、GRU甚至是雙向變體。AEs也經(jīng)常會面臨同樣的問題，VAEs、DAEs及其相似結構有時都被簡稱為AEs。很多縮寫后面的“N”也常常會有所變化，因為同一個架構你既可稱之為卷積神經(jīng)網(wǎng)絡（convolutional neural network），也可簡稱為卷積網(wǎng)絡（convolutional network），這樣就出現(xiàn)了CNN和CN兩種形式。
前饋神經(jīng)網(wǎng)絡（FFNN）
前饋神經(jīng)感知網(wǎng)絡與感知機（FF or FFNN：Feed forward neural networks and P：perceptrons）非常簡單，信息從前往后流動（分別對應輸入和輸出）。
一般在描述神經(jīng)網(wǎng)絡的時候，都是從它的層說起，即相互平行的輸入層、隱含層或者輸出層神經(jīng)結構。單獨的神經(jīng)細胞層內(nèi)部，神經(jīng)元之間互不相連；而一般相鄰的兩個神經(jīng)細胞層則是全連接（一層的每個神經(jīng)元和另一層的每一個神經(jīng)元相連）。一個最簡單卻最具有實用性的神經(jīng)網(wǎng)絡由兩個輸入神經(jīng)元和一個輸出神經(jīng)元構成，也就是一個邏輯門模型。給神經(jīng)網(wǎng)絡一對數(shù)據(jù)集（分別是“輸入數(shù)據(jù)集”和“我們期望的輸出數(shù)據(jù)集”），一般通過反向傳播算法來訓練前饋神經(jīng)網(wǎng)絡（FFNNs）。
這就是所謂的監(jiān)督式學習。與此相反的是無監(jiān)督學習：我們只給輸入，然后讓神經(jīng)網(wǎng)絡去尋找數(shù)據(jù)當中的規(guī)律。反向傳播的誤差往往是神經(jīng)網(wǎng)絡當前輸出和給定輸出之間差值的某種變體（比如MSE或者僅僅是差值的線性變化）。如果神經(jīng)網(wǎng)絡具有足夠的隱層神經(jīng)元，那么理論上它總是能夠建立輸入數(shù)據(jù)和輸出數(shù)據(jù)之間的關系。在實踐中，FFNN的使用具有很大的局限性，但是，它們通常和其它神經(jīng)網(wǎng)絡一起組合成新的架構。
Rosenblatt, Frank. “The perceptron: a probabilistic model for information storage and organization in the brain.” Psychological review 65.6 (1958): 386.
徑向基神經(jīng)網(wǎng)絡（RBF）
徑向神經(jīng)網(wǎng)絡（RBF：Radial basis function）是一種以徑向基核函數(shù)作為激活函數(shù)的前饋神經(jīng)網(wǎng)絡。沒有更多描述了。這不是說沒有相關的應用，但大多數(shù)以其它函數(shù)作為激活函數(shù)的FFNNs都沒有它們自己的名字。這或許跟它們的發(fā)明年代有關系。
Broomhead, David S., and David Lowe. Radial basis functions, multi-variable functional interpolation and adaptive networks. No. RSRE-MEMO-4148. ROYAL SIGNALS AND RADAR ESTABLISHMENT MALVERN (UNITED KINGDOM), 1988.
霍普菲爾網(wǎng)絡（HN）
霍普菲爾網(wǎng)絡（HN：Hopfield network）是一種每一個神經(jīng)元都跟其它神經(jīng)元相互連接的網(wǎng)絡。
這就像一盤完全攪在一起的意大利面，因為每個神經(jīng)元都在充當所有角色：訓練前的每一個節(jié)點都是輸入神經(jīng)元，訓練階段是隱神經(jīng)元，輸出階段則是輸出神經(jīng)元。
該神經(jīng)網(wǎng)絡的訓練，是先把神經(jīng)元的值設置到期望模式，然后計算相應的權重。在這以后，權重將不會再改變了。一旦網(wǎng)絡被訓練包含一種或者多種模式，這個神經(jīng)網(wǎng)絡總是會收斂于其中的某一種學習到的模式，因為它只會在某一個狀態(tài)才會穩(wěn)定。值得注意的是，它并不一定遵從那個期望的狀態(tài)（很遺憾，它并不是那個具有魔法的黑盒子）。它之所以會穩(wěn)定下來，部分要歸功于在訓練期間整個網(wǎng)絡的“能量（Energy）”或“溫度（Temperature）”會逐漸地減少。每一個神經(jīng)元的激活函數(shù)閾值都會被設置成這個溫度的值，一旦神經(jīng)元輸入的總和超過了這個閾值，那么就會讓當前神經(jīng)元選擇狀態(tài)（通常是-1或1，有時也是0或1）。
可以多個神經(jīng)元同步，也可以一個神經(jīng)元一個神經(jīng)元地對網(wǎng)絡進行更新。一旦所有的神經(jīng)元都已經(jīng)被更新，并且它們再也沒有改變，整個網(wǎng)絡就算穩(wěn)定（退火）了，那你就可以說這個網(wǎng)絡已經(jīng)收斂了。這種類型的網(wǎng)絡被稱為“聯(lián)想記憶（associative memory）”，因為它們會收斂到和輸入最相似的狀態(tài)；比如，人類看到桌子的一半就可以想象出另外一半；與之相似，如果輸入一半噪音+一半桌子，這個網(wǎng)絡就能收斂到整張桌子。
Hopfield, John J. “Neural networks and physical systems with emergent collective computational abilities.” Proceedings of the national academy of sciences 79.8 (1982): 2554-2558.
馬爾可夫鏈（MC）
馬爾可夫鏈（MC：Markov Chain）或離散時間馬爾可夫鏈（DTMC：MC or discrete time Markov Chain）在某種意義上是BMs和HNs的前身。可以這樣來理解：從從我當前所處的節(jié)點開始，走到任意相鄰節(jié)點的概率是多少呢？它們沒有記憶（所謂的馬爾可夫特性）：你所得到的每一個狀態(tài)都完全依賴于前一個狀態(tài)。盡管算不上神經(jīng)網(wǎng)絡，但它卻跟神經(jīng)網(wǎng)絡類似，并且奠定了BM和HN的理論基礎。跟BM、RBM、HN一樣，MC并不總被認為是神經(jīng)網(wǎng)絡。此外，它也并不總是全連接的。
Hayes, Brian. “First links in the Markov chain.” American Scientist 101.2 (2013): 252.
玻爾茲曼機（BM）
玻爾茲曼機（BM：Boltzmann machines）和霍普菲爾網(wǎng)絡很接近，差別只是：一些神經(jīng)元作為輸入神經(jīng)元，剩余的則是作為隱神經(jīng)元。
在整個神經(jīng)網(wǎng)絡更新過后，輸入神經(jīng)元成為輸出神經(jīng)元。剛開始神經(jīng)元的權重都是隨機的，通過反向傳播（back-propagation）算法進行學習，或是最近常用的對比散度（contrastive divergence）算法（馬爾可夫鏈用于計算兩個信息增益之間的梯度）。
相比HN，大多數(shù)BM的神經(jīng)元激活模式都是二元的。BM由MC訓練獲得，因而是一個隨機網(wǎng)絡。BM的訓練和運行過程，跟HN大同小異：為輸入神經(jīng)元設好鉗位值，而后讓神經(jīng)網(wǎng)絡自行學習。因為這些神經(jīng)元可能會得到任意的值，我們反復地在輸入和輸出神經(jīng)元之間來回地進行計算。激活函數(shù)的激活受全局溫度的控制，如果全局溫度降低了，那么神經(jīng)元的能量也會相應地降低。這個能量上的降低導致了它們激活模式的穩(wěn)定。在正確的溫度下，這個網(wǎng)絡會抵達一個平衡狀態(tài)。
Hinton, Geoffrey E., and Terrence J. Sejnowski. “Learning and releaming in Boltzmann machines.” Parallel distributed processing: Explorations in the microstructure of cognition 1 (1986): 282-317.
受限玻爾茲曼機（RBM）
受限玻爾茲曼機（RBM：Restricted Boltzmann machines）與BM出奇地相似，因而也同HN相似。
它們的最大區(qū)別在于：RBM更具實用價值，因為它們受到了更多的限制。它們不會隨意在所有神經(jīng)元間建立連接，而只在不同神經(jīng)元群之間建立連接，因此任何輸入神經(jīng)元都不會同其他輸入神經(jīng)元相連，任何隱神經(jīng)元也不會同其他隱神經(jīng)元相連。
RBM的訓練方式就像稍微修改過的FFNN：前向通過數(shù)據(jù)之后再將這些數(shù)據(jù)反向傳回（回到第一層），而非前向通過數(shù)據(jù)然后反向傳播誤差。之后，再使用前向和反向傳播進行訓練。
Smolensky, Paul. Information processing in dynamical systems: Foundations of harmony theory. No. CU-CS-321-86. COLORADO UNIV AT BOULDER DEPT OF COMPUTER SCIENCE, 1986.
自編碼機（AE）
自編碼機（AE：Autoencoders）和FFNN有些相近，因為它更像是FFNN的另一種用法，而非本質上完全不同的另一種架構。
自編碼機的基本思想是自動對信息進行編碼（像壓縮一樣，而非加密），它也因此而得名。整個網(wǎng)絡的形狀酷似一個沙漏計時器，中間的隱含層較小，兩邊的輸入層、輸出層較大。自編碼機總是對稱的，以中間層（一層還是兩層取決于神經(jīng)網(wǎng)絡層數(shù)的奇偶）為軸。最小的層（一層或者多層）總是在中間，在這里信息壓縮程度最大（整個網(wǎng)絡的關隘口）。在中間層之前為編碼部分，中間層之后為解碼部分，中間層則是編碼部分。
自編碼機可用反向傳播算法進行訓練，給定輸入，將誤差設為輸入和輸出之差。自編碼機的權重也是對稱的，因此編碼部分權重與解碼部分權重完全一樣。
Bourlard, Hervé, and Yves Kamp. “Auto-association by multilayer perceptrons and singular value decomposition.” Biological cybernetics 59.4-5 (1988): 291-294.
稀疏自編碼機（SAE）
稀疏自編碼機（SAE：Sparse autoencoders）某種程度上同自編碼機相反。稀疏自編碼機不是用更小的空間表征大量信息，而是把原本的信息編碼到更大的空間內(nèi)。因此，中間層不是收斂，而是擴張，然后再還原到輸入大小。它可以用于提取數(shù)據(jù)集內(nèi)的小特征。
如果用訓練自編碼機的方式來訓練稀疏自編碼機，幾乎所有的情況，都是得到毫無用處的恒等網(wǎng)絡（輸入=輸出，沒有任何形式的變換或分解）。為避免這種情況，需要在反饋輸入中加上稀疏驅動數(shù)據(jù)。稀疏驅動的形式可以是閾值過濾，這樣就只有特定的誤差才會反向傳播用于訓練，而其它的誤差則被忽略為0，不會用于反向傳播。這很像脈沖神經(jīng)網(wǎng)絡（并不是所有的神經(jīng)元一直都會輸出）。
Marc’Aurelio Ranzato, Christopher Poultney, Sumit Chopra, and Yann LeCun. “Efficient learning of sparse representations with an energy-based model.” Proceedings of NIPS. 2007.
?
變分自編碼機（VAE）
變分自編碼機（VAE：Variational autoencoders）和AE有著相同的架構，卻被教會了不同的事情：輸入樣本的一個近似概率分布，這讓它跟BM、RBM更相近。
不過，VAE卻依賴于貝葉斯理論來處理概率推斷和獨立（probabilistic inference and independence），以及重新參數(shù)化（re-parametrisation）來進行不同的表征。推斷和獨立非常直觀，但卻依賴于復雜的數(shù)學理論?；驹硎?#xff1a;把影響納入考慮。如果在一個地方發(fā)生了一件事情，另外一件事情在其它地方發(fā)生了，它們不一定就是關聯(lián)在一起的。如果它們不相關，那么誤差傳播應該考慮這個因素。這是一個有用的方法，因為神經(jīng)網(wǎng)絡是一個非常大的圖表，如果你能在某些節(jié)點排除一些來自于其它節(jié)點的影響，隨著網(wǎng)絡深度地增加，這將會非常有用。
Kingma, Diederik P., and Max Welling. “Auto-encoding variational bayes.” arXiv preprint arXiv:1312.6114 (2013).
去噪自編碼機（DAE）
去噪自編碼機（DAE：Denoising autoencoders）是一種自編碼機，它的訓練過程，不僅要輸入數(shù)據(jù)，還有再加上噪音數(shù)據(jù)（就好像讓圖像變得更加模糊一樣）。
但在計算誤差的時候跟自動編碼機一樣，降噪自動編碼機的輸出也是和原始的輸入數(shù)據(jù)進行對比。這種形式的訓練旨在鼓勵降噪自編碼機不要去學習細節(jié)，而是一些更加宏觀的特征，因為細微特征受到噪音的影響，學習細微特征得到的模型最終表現(xiàn)出來的性能總是很差。
Vincent, Pascal, et al. “Extracting and composing robust features with denoising autoencoders.” Proceedings of the 25th international conference on Machine learning. ACM, 2008.
深度信念網(wǎng)絡（DBN）
深度信念網(wǎng)絡（DBN：Deep belief networks）之所以取這個名字，是由于它本身幾乎是由多個受限玻爾茲曼機或者變分自編碼機堆砌而成。
實踐表明一層一層地對這種類型的神經(jīng)網(wǎng)絡進行訓練非常有效，這樣每一個自編碼機或者受限玻爾茲曼機只需要學習如何編碼前一神經(jīng)元層的輸出。這種訓練技術也被稱為貪婪訓練，這里貪婪的意思是通過不斷地獲取局部最優(yōu)解，最終得到一個相當不錯解（但可能不是全局最優(yōu)的）?？梢酝ㄟ^對比散度算法或者反向傳播算法進行訓練，它會慢慢學著以一種概率模型來表征數(shù)據(jù)，就好像常規(guī)的自編碼機或者受限玻爾茲曼機。一旦經(jīng)過非監(jiān)督式學習方式，訓練或者收斂到了一個穩(wěn)定的狀態(tài)，那么這個模型就可以用來產(chǎn)生新的數(shù)據(jù)。如果以對比散度算法進行訓練，那么它甚至可以用于區(qū)分現(xiàn)有的數(shù)據(jù)，因為那些神經(jīng)元已經(jīng)被引導來獲取數(shù)據(jù)的不同特定。
Bengio, Yoshua, et al. “Greedy layer-wise training of deep networks.” Advances in neural information processing systems 19 (2007): 153.
卷積神經(jīng)網(wǎng)絡（CNN）
卷積神經(jīng)網(wǎng)絡（CNN：Convolutional neural networks）或深度卷積神經(jīng)網(wǎng)絡（DCNN：deep convolutional neural networks）跟其它類型的神經(jīng)網(wǎng)絡大有不同。它們主要用于處理圖像數(shù)據(jù)，但可用于其它形式數(shù)據(jù)的處理，如語音數(shù)據(jù)。對于卷積神經(jīng)網(wǎng)絡來說，一個典型的應用就是給它輸入一個圖像，而后它會給出一個分類結果。也就是說，如果你給它一張貓的圖像，它就輸出“貓”；如果你給一張狗的圖像，它就輸出“狗”。
卷積神經(jīng)網(wǎng)絡是從一個數(shù)據(jù)掃描層開始，這種形式的處理并沒有嘗試在一開始就解析整個訓練數(shù)據(jù)。比如：對于一個大小為200X200像素的圖像，你不會想構建一個40000個節(jié)點的神經(jīng)元層。而是，構建一個20X20像素的輸入掃描層，然后，把原始圖像第一部分的20X20像素圖像（通常是從圖像的左上方開始）輸入到這個掃描層。當這部分圖像（可能是用于進行卷積神經(jīng)網(wǎng)絡的訓練）處理完，你會接著處理下一部分的20X20像素圖像：逐漸（通常情況下是移動一個像素，但是，移動的步長是可以設置的）移動掃描層，來處理原始數(shù)據(jù)。
注意，你不是一次性移動掃描層20個像素（或其它任何掃描層大小的尺度），也不是把原始圖像切分成20X20像素的圖像塊，而是用掃描層在原始圖像上滑過。這個輸入數(shù)據(jù)（20X20像素的圖像塊）緊接著被輸入到卷積層，而非常規(guī)的神經(jīng)細胞層——卷積層的節(jié)點不是全連接。每一個輸入節(jié)點只會和最近的那個神經(jīng)元節(jié)點連接（至于多近要取決于具體的實現(xiàn)，但通常不會超過幾個）。
這些卷積層會隨著深度的增加而逐漸變小：大多數(shù)情況下，會按照輸入層數(shù)量的某個因子縮小（比如：20個神經(jīng)元的卷積層，后面是10個神經(jīng)元的卷積層，再后面就是5個神經(jīng)元的卷積層）。2的n次方（32, 16, 8, 4, 2, 1）也是一個非常常用的因子，因為它們在定義上可以簡潔且完整地除盡。除了卷積層，池化層（pooling layers）也非常重要。
池化是一種過濾掉細節(jié)的方式：一種常用的池化方式是最大池化，比如用2X2的像素，然后取四個像素中值最大的那個傳遞。為了讓卷積神經(jīng)網(wǎng)絡處理語音數(shù)據(jù)，需要把語音數(shù)據(jù)切分，一段一段輸入。在實際應用中，通常會在卷積神經(jīng)網(wǎng)絡后面加一個前饋神經(jīng)網(wǎng)絡，以進一步處理數(shù)據(jù)，從而對數(shù)據(jù)進行更高水平的非線性抽象。
LeCun, Yann, et al. “Gradient-based learning applied to document recognition.” Proceedings of the IEEE 86.11 (1998): 2278-2324.
解卷積網(wǎng)絡（DN）
解卷積網(wǎng)絡（DN：Deconvolutional networks），又稱為逆圖形網(wǎng)絡（IGNs：inverse graphics networks），是逆向的卷積神經(jīng)網(wǎng)絡。
想象一下，給一個神經(jīng)網(wǎng)絡輸入一個“貓”的詞，就可以生成一個像貓一樣的圖像，通過比對它和真實的貓的圖片來進行訓練。跟常規(guī)CNN一樣，DN也可以結合FFNN使用，但沒必要為這個新的縮寫重新做圖解釋。它們可被稱為深度解卷積網(wǎng)絡，但把FFNN放到DNN前面和后面是不同的，那是兩種架構（也就需要兩個名字），對于是否需要兩個不同的名字你們可能會有爭論。需要注意的是，絕大多數(shù)應用都不會把文本數(shù)據(jù)直接輸入到神經(jīng)網(wǎng)絡，而是用二元輸入向量。比如<0,1>代表貓，<1,0>代表狗，<1,1>代表貓和狗。
CNN的池化層往往也是被對應的逆向操作替換了，主要是插值和外推（基于一個基本的假設：如果一個池化層使用了最大池化，你可以在逆操作的時候生成一些相對于最大值更小的數(shù)據(jù)）。
Zeiler, Matthew D., et al. “Deconvolutional networks.” Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. IEEE, 2010.
深度卷積逆向圖網(wǎng)絡（DCIGN）
深度卷積逆向圖網(wǎng)絡（DCIGN：Deep convolutional inverse graphics networks），這個名字具有誤導性，因為它們實際上是VAE，但分別用CNN、DNN來作編碼和解碼的部分。
這些網(wǎng)絡嘗試在編碼過程中對“特征“進行概率建模，這樣一來，你只要用貓和狗的獨照，就能讓它們生成一張貓和狗的合照。同理，你可以輸入一張貓的照片，如果貓旁邊有一只惱人的鄰家狗，你可以讓它們把狗去掉。很多演示表明，這種類型的網(wǎng)絡能學會基于圖像的復雜變換，比如燈光強弱的變化、3D物體的旋轉。一般也是用反向傳播算法來訓練此類網(wǎng)絡。
Kulkarni, Tejas D., et al. “Deep convolutional inverse graphics network.” Advances in Neural Information Processing Systems. 2015.
生成式對抗網(wǎng)絡（GAN）
生成式對抗網(wǎng)絡（GAN：Generative adversarial networks）是一類不同的網(wǎng)絡，它們有一對“雙胞胎”：兩個網(wǎng)絡協(xié)同工作。
GAN可由任意兩種網(wǎng)絡組成（但通常是FF和CNN），其中一個用于生成內(nèi)容，另一個則用于鑒別生成的內(nèi)容。
鑒別網(wǎng)絡（discriminating network）同時接收訓練數(shù)據(jù)和生成網(wǎng)絡（generative network）生成的數(shù)據(jù)。鑒別網(wǎng)絡的準確率，被用作生成網(wǎng)絡誤差的一部分。這就形成了一種競爭：鑒別網(wǎng)絡越來越擅長于區(qū)分真實的數(shù)據(jù)和生成數(shù)據(jù)，而生成網(wǎng)絡也越來越善于生成難以預測的數(shù)據(jù)。這種方式非常有效，部分是因為：即便相當復雜的類噪音模式最終都是可預測的，但跟輸入數(shù)據(jù)有著極為相似特征的生成數(shù)據(jù)，則很難區(qū)分。
訓練GAN極具挑戰(zhàn)性，因為你不僅要訓練兩個神經(jīng)網(wǎng)絡（其中的任何一個都會出現(xiàn)它自己的問題），同時還要平衡兩者的運行機制。如果預測或生成相比對方表現(xiàn)得過好，這個GAN就不會收斂，因為它會內(nèi)部發(fā)散。
Goodfellow, Ian, et al. “Generative adversarial nets.” Advances in Neural Information Processing Systems. 2014.
循環(huán)神經(jīng)網(wǎng)絡（RNN）
循環(huán)神經(jīng)網(wǎng)絡（RNN：Recurrent neural networks）是具有時間聯(lián)結的前饋神經(jīng)網(wǎng)絡：它們有了狀態(tài)，通道與通道之間有了時間上的聯(lián)系。神經(jīng)元的輸入信息，不僅包括前一神經(jīng)細胞層的輸出，還包括它自身在先前通道的狀態(tài)。
這就意味著：你的輸入順序將會影響神經(jīng)網(wǎng)絡的訓練結果：相比先輸入“曲奇餅”再輸入“牛奶”，先輸入“牛奶”再輸入“曲奇餅”后，或許會產(chǎn)生不同的結果。RNN存在一大問題：梯度消失（或梯度爆炸，這取決于所用的激活函數(shù)），信息會隨時間迅速消失，正如FFNN會隨著深度的增加而失去信息一樣。
直覺上，這不算什么大問題，因為這些都只是權重，而非神經(jīng)元的狀態(tài)，但隨時間變化的權重正是來自過去信息的存儲；如果權重是0或1000000，那之前的狀態(tài)就不再有信息價值。
原則上，RNN可以在很多領域使用，因為大部分數(shù)據(jù)在形式上不存在時間線的變化，（不像語音或視頻），它們能以某種序列的形式呈現(xiàn)出來。一張圖片或一段文字可以一個像素或者一個文字地進行輸入，因此，與時間相關的權重描述了該序列前一步發(fā)生了什么，而不是多少秒之前發(fā)生了什么。一般來說，循環(huán)神經(jīng)網(wǎng)絡是推測或補全信息很好的選擇，比如自動補全。
Elman, Jeffrey L. “Finding structure in time.” Cognitive science 14.2 (1990): 179-211.
長短期記憶（LSTM）
長短期記憶（LSTM：Long / short term memory）網(wǎng)絡試圖通過引入門結構與明確定義的記憶單元來解決梯度消失/爆炸的問題。
這更多的是受電路圖設計的啟發(fā)，而非生物學上某種和記憶相關機制。每個神經(jīng)元都有一個記憶單元和三個門：輸入門、輸出門、遺忘門。這三個門的功能就是通過禁止或允許信息流動來保護信息。
輸入門決定了有多少前一神經(jīng)細胞層的信息可留在當前記憶單元，輸出層在另一端決定下一神經(jīng)細胞層能從當前神經(jīng)元獲取多少信息。遺忘門乍看很奇怪，但有時候遺忘部分信息是很有用的：比如說它在學習一本書，并開始學一個新的章節(jié)，那遺忘前面章節(jié)的部分角色就很有必要了。
實踐證明，LSTM可用來學習復雜的序列，比如像莎士比亞一樣寫作，或創(chuàng)作全新的音樂。值得注意的是，每一個門都對前一神經(jīng)元的記憶單元賦有一個權重，因此會需要更多的計算資源。
Hochreiter, Sepp, and Jürgen Schmidhuber. “Long short-term memory.” Neural computation 9.8 (1997): 1735-1780.
門循環(huán)單元（GRU）
門循環(huán)單元（GRU : Gated recurrent units）是LSTM的一種輕量級變體。它們少了一個門，同時連接方式也稍有不同：它們采用了一個更新門（update gate），而非LSTM所用的輸入門、輸出門、遺忘門。
更新門決定了保留多少上一個狀態(tài)的信息，還決定了收取多少來自前一神經(jīng)細胞層的信息。重置門（reset gate）跟LSTM遺忘門的功能很相似，但它存在的位置卻稍有不同。它們總是輸出完整的狀態(tài)，沒有輸出門。多數(shù)情況下，它們跟LSTM類似，但最大的不同是：GRU速度更快、運行更容易（但函數(shù)表達力稍弱）。
在實踐中，這里的優(yōu)勢和劣勢會相互抵消：當你你需要更大的網(wǎng)絡來獲取函數(shù)表達力時，這樣反過來，性能優(yōu)勢就被抵消了。在不需要額外的函數(shù)表達力時，GRU的綜合性能要好于LSTM。
Chung, Junyoung, et al. “Empirical evaluation of gated recurrent neural networks on sequence modeling.” arXiv preprint arXiv:1412.3555 (2014).
神經(jīng)圖靈機（NTM）
神經(jīng)圖靈機（NTM: Neural Turing machines）可以理解為對LSTM的抽象，它試圖把神經(jīng)網(wǎng)絡去黑箱化（以窺探其內(nèi)部發(fā)生的細節(jié)）。
NTM不是把記憶單元設計在神經(jīng)元內(nèi)，而是分離出來。NTM試圖結合常規(guī)數(shù)字信息存儲的高效性、永久性與神經(jīng)網(wǎng)絡的效率及函數(shù)表達能力。它的想法是設計一個可作內(nèi)容尋址的記憶庫，并讓神經(jīng)網(wǎng)絡對其進行讀寫操作。NTM名字中的“圖靈（Turing）”是表明，它是圖靈完備（Turing complete）的，即具備基于它所讀取的內(nèi)容來讀取、寫入、修改狀態(tài)的能力，也就是能表達一個通用圖靈機所能表達的一切。
Graves, Alex, Greg Wayne, and Ivo Danihelka. “Neural turing machines.” arXiv preprint arXiv:1410.5401 (2014).
BiRNN、BiLSTM、BiGRU
雙向循環(huán)神經(jīng)網(wǎng)絡（BiRNN：Bidirectional recurrent neural networks）、雙向長短期記憶網(wǎng)絡（BiLSTM：bidirectional long / short term memory networks?）和雙向門控循環(huán)單元（BiGRU：bidirectional gated recurrent units）在圖表中并未呈現(xiàn)出來，因為它們看起來與其對應的單向神經(jīng)網(wǎng)絡結構一樣。
所不同的是，這些網(wǎng)絡不僅與過去的狀態(tài)有連接，而且與未來的狀態(tài)也有連接。比如，通過一個一個地輸入字母，訓練單向的LSTM預測“魚（fish）”（在時間軸上的循環(huán)連接記住了過去的狀態(tài)值）。在BiLSTM的反饋通路輸入序列中的下一個字母，這使得它可以了解未來的信息是什么。這種形式的訓練使得該網(wǎng)絡可以填充信息之間的空白，而不是預測信息。因此，它在處理圖像時不是擴展圖像的邊界，而是填補一張圖片中的缺失。
Schuster, Mike, and Kuldip K. Paliwal. “Bidirectional recurrent neural networks.” IEEE Transactions on Signal Processing 45.11 (1997): 2673-2681.
深度殘差網(wǎng)絡（DRN）
深度殘差網(wǎng)絡（DRN: Deep residual networks）是非常深的FFNN網(wǎng)絡，它有一種特殊的連接，可以把信息從某一神經(jīng)細胞層傳至后面幾層（通常是2到5層）。
該網(wǎng)絡的目的不是要找輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的映射，而是致力于構建輸入數(shù)據(jù)與輸出數(shù)據(jù)+輸入數(shù)據(jù)之間的映射函數(shù)。本質上，它在結果中增加一個恒等函數(shù)，并跟前面的輸入一起作為后一層的新輸入。結果表明，當層數(shù)超過150后，這一網(wǎng)絡將非常擅于學習模式，這比常規(guī)的2到5層要多得多。然而，有證據(jù)表明這些網(wǎng)絡本質上只是沒有時間結構的RNN，它們總是與沒有門結構的LSTM相提并論。
He, Kaiming, et al. “Deep residual learning for image recognition.” arXiv preprint arXiv:1512.03385 (2015).
回聲狀態(tài)網(wǎng)絡（ESN）
回聲狀態(tài)網(wǎng)絡（ESN：Echo state networks）是另一種不同類型的（循環(huán)）網(wǎng)絡。
它的不同之處在于：神經(jīng)元之間的連接是隨機的（沒有整齊劃一的神經(jīng)細胞層），其訓練過程也有所不同。不同于輸入數(shù)據(jù)后反向傳播誤差，ESN先輸入數(shù)據(jù)、前饋、而后更新神經(jīng)元狀態(tài)，最后來觀察結果。它的輸入層和輸出層在這里扮演的角色不太常規(guī)，輸入層用來主導網(wǎng)絡，輸出層作為激活模式的觀測器隨時間展開。在訓練過程中，只有觀測和隱藏單元之間連接會被改變。
Jaeger, Herbert, and Harald Haas. “Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication.” science 304.5667 (2004): 78-80.
極限學習機（ELM）
極限學習機（ELM：Extreme learning machines）本質上是擁有隨機連接的FFNN。
它們與LSM、ESN極為相似，除了循環(huán)特征和脈沖性質，它們還不使用反向傳播。相反，它們先給權重設定隨機值，然后根據(jù)最小二乘法擬合來一次性訓練權重（在所有函數(shù)中誤差最小）。這使ELM的函數(shù)擬合能力較弱，但其運行速度比反向傳播快多了。
Cambria, Erik, et al. “Extreme learning machines [trends & controversies].” IEEE Intelligent Systems 28.6 (2013): 30-59.
液態(tài)機（LSM）
液態(tài)機（LSM：Liquid state machines）換湯不換藥，跟ESN同樣相近。
區(qū)別在于，LSM是一種脈沖神經(jīng)網(wǎng)絡（spiking neural networks），用閾值激活函數(shù)（threshold functions）取代了sigmoid激活函數(shù)，每個神經(jīng)元同時也是具有累加性質的記憶單元。因此，當神經(jīng)元狀態(tài)更新時，其值不是相鄰神經(jīng)元的累加值，而是它自身狀態(tài)值的累加。一旦累加到閾值，它就釋放能量至其它神經(jīng)元。這就形成了一種類似于脈沖的模式：神經(jīng)元不會進行任何操作，直至到達閾值的那一刻。
Maass, Wolfgang, Thomas Natschl?ger, and Henry Markram. “Real-time computing without stable states: A new framework for neural computation based on perturbations.” Neural computation 14.11 (2002): 2531-2560.
支持向量機（SVM）
支持向量機（SVM：Support vector machines）能為分類問題找出最優(yōu)方案。
傳統(tǒng)意義上，它們只能處理線性可分的數(shù)據(jù)；比如找出哪張圖片是加菲貓、哪張是史努比，此外就無法做其它輸出了。
訓練過程中，SVM可以理解為：先在平面圖表上標繪所有數(shù)據(jù)（加菲貓、史努比），然后找出到那條能夠最好區(qū)分這兩類數(shù)據(jù)點的線。這條線能把數(shù)據(jù)分為兩部分，線的這邊全是史努比，線的那邊全是加菲貓。而后移動并優(yōu)化該直線，令兩邊數(shù)據(jù)點到直線的距離最大化。分類新的數(shù)據(jù)，則將該數(shù)據(jù)點畫在這個圖表上，然后察看這個數(shù)據(jù)點在分隔線的哪一邊（史努比一側，還是加菲貓一側）。
通過使用核方法，SVM便可用來分類n維空間的數(shù)據(jù)。這就引出了在3維空間中標繪數(shù)據(jù)點，從而讓SVM可以區(qū)分史努比、加菲貓與西蒙，甚至在更高的維度對更多卡通人物進行分類。SVM并不總被視為神經(jīng)網(wǎng)絡。
Cortes, Corinna, and Vladimir Vapnik. “Support-vector networks.” Machine learning 20.3 (1995): 273-297.
Kohonen 網(wǎng)絡
最后，我們來介紹一下Kohonen網(wǎng)絡（KN，也稱之為自組織（特征）映射（SOM/SOFM：self organising (feature) map））。
KN利用競爭學習來對數(shù)據(jù)進行分類，不需要監(jiān)督。先給神經(jīng)網(wǎng)絡一個輸入，而后它會評估哪個神經(jīng)元最匹配該輸入。然后這個神經(jīng)元會繼續(xù)調整以更好地匹配輸入數(shù)據(jù)，同時帶動相鄰的神經(jīng)元。相鄰神經(jīng)元移動的距離，取決于它們與最佳匹配單元之間的距離。KN有時也不被認為是神經(jīng)網(wǎng)絡。
作者：AI科技大本營
鏈接：http://www.jianshu.com/p/87fd419c94cc
來源：簡書
著作權歸作者所有。商業(yè)轉載請聯(lián)系作者獲得授權，非商業(yè)轉載請注明出處。
?
總結
以上是生活随笔為你收集整理的从神经元到CNN、RNN、GAN…神经网络看本文绝对够了的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： TensorFlow Wide And
- 下一篇： 不懂卷积神经网络？别怕，看完这几张萌图你