1、神經網絡

????????感知機就是一個人工神經元，是最簡單的神經網絡，可以用來解決簡單“與”和“或”分類問題，但是無法解決“異或”邏輯分類問題這一基礎功能。這也導致了神經網絡研究陷入低谷。

? ? ? 為解決XOR問題，1974年哈佛大學的一片博士論文證明在神經網絡多加一層，并利用“反向傳播”學習方法，可以解決XOR問題。這就是多層神經網絡也叫前饋神經網絡。

2、深度學習

? ? ????深度神經網絡通常是前饋神經網絡，至少有 一個隱層，可以為復雜非線性系統提供建模，多的隱層可以提供更高的抽象特征。深度神經網絡是一種結構不是一種算法。深度學習可以用來從高維、復雜的數據中快速抽取特征。深度學習是神經網絡的一個分支，其基本結構是深度神經網絡。

? ? ? ? 高層特征是底層特征的組合，從底層到高層的特征表達越來月抽象和概念化，即越來越能表現語義或意圖。不同的圖片可以由基本的組成單元構成。從下圖可以看出，底層特征看起來基本一致，高一層就能看出來不同了，再往上一層就能識別具體物體了。

2.1淺層學習和深度學習 ? ? ?

含有一個隱藏層的就叫做多層感知機，也叫神經網絡，這種模型叫淺層結構，這種模型可以用于人工規則的統計學習方法，利用這種淺層模型實現較復雜的訓練，實現基本的分類。例如SVM、Boosting、最大熵方法。 深度學習不止一層隱層，如上圖，最底層的基本線條看起來一致，如果要從基礎線條中識別出臉、汽車、大象則需要不斷手工修改參數，才有可能訓練出只區分臉和汽車的模型。這種情況下需要調整的參數過多，需要的樣本巨大，且需要人工的干預，這就是深度不夠的缺陷。 直到2006年，以Hinton為首的研究員在深度信念網絡（DBN）方面的工作，將此問題終結。他們訓練網絡的原則是：（1）、非監督學習用來預訓練各個層（2）、分監督在之前學習到的層次上，一次只學習一個層次，每個層次學習到的結果作為下一層的輸入（3）、用監督學習來調整層與層之間的權重

2.2深度學習和神經網絡

深度學習和傳統的神經網絡之間的相同之處，就是二者都有相似的分層結構，包括輸入層、隱層和輸出層，其中只有鄰層之間有連接，同一層及跨層之間沒有連接。不同之處在于，傳統神經網絡一般只有二至三層，參數和計算單元有限，對復雜函數的表示能力有限，學習能力有限；而深度學習具有五至十層，甚至更多。

2.3如何訓練神經網絡

BP的全稱是Back Propagation，意思是誤差反向傳輸。基本想法是：有信號正向傳播和誤差反向傳播。（1）、信號正向傳播：輸入樣本從輸入層傳入，經各個隱層逐層處理后，傳至輸出層。若輸出層的實際輸出與期望不符，則轉入誤差反向傳播階段。（2）、誤差反向傳播：將輸出以某種形式通過隱層向輸入層逐層反傳，并將誤差分攤給各層的所有單元，從而獲得各層單元誤差信號。 注意：5層以內的神經網絡可以用BP算法訓練，5層以上的神經網絡用BP算法訓練就不理想了。會出現梯度消失或者梯度爆炸情況。

2.4總結

在圖像處理中，我們可以用像素集合體表示完整的圖像，這時特征選取的好壞對于分類或預測結果影響非常大，因此選取一個什么特征，怎么選取特征對于解決實際問題非常重要。然而，人為的選取特征是一件耗時耗力且沒有規律可循。那能不能讓機器自動學校一些特征？答案是能，深度學習就是來干這個的。因此自動學習特征的方法，統稱為深度學習。 深度學習首先利用無監督學習對每一層進行逐層訓練去學習特征；每次單獨訓練一層，并將訓練結果作為更高層的輸入；然后到最上層改用監督學習從上到下進行微調（Fine-Tune）去學習模型。 具體過程如下： （1）使用自上而下的非監督學習（就是從底層開始，一層一層地往頂層訓練）。采用無標定數據(有標定也行)分層訓練各層參數。用無標定數據訓練隱層的最底層，訓練時先學習最底層的參數，（可以看成是得到一個使得輸入和輸出差別最小的三層神經網絡的隱層）。 （2）自頂向下的監督學習，就是通過帶標簽的數據去訓練，誤差自頂向下傳輸，對網絡進行微調。基于第一步的各層參數進一步Fine—tune整個多層模型參數；類似神經網絡的隨機初始化處置過程，深度學習的第一步不是所及初始化，而是通過學習輸入數據的結構得到的，因此這個初值接近全局最優，能夠取得更好的效果；所以深度學習效果好很大程度上歸功于第一步（特征學習過程）。

參考資料

《神經網絡與深度學習》——吳岸城

http://www.cnblogs.com/alexcai/p/5506806.html

總結

以上是生活随笔為你收集整理的神经网络与深度学习笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。