2.2.1 什么是神經網絡

人工神經網絡（ Artificial Neural Network， 簡寫為ANN）也簡稱為神經網絡（NN）。是一種模仿生物神經網絡（動物的中樞神經系統，特別是大腦）結構和功能的?計算模型。經典的神經網絡結構包含三個層次的神經網絡。分別輸入層，輸出層以及隱藏層。

其中每層的圓圈代表一個神經元，隱藏層和輸出層的神經元有輸入的數據計算后輸出，輸入層的神經元只是輸入。

• 神經網絡的特點

  • 1、每個連接都有個權值
  • 2、同一層神經元之間沒有連接
  • 3、最后的輸出結果對應的層也稱之為全連接層

• 組成：

  • 輸入層：神經網絡的第一層，原始的樣本數據
  • 輸出層：神經網絡的最后一層，最終的計算結果
  • 隱藏層：其余的中間層都被稱為隱藏層（hidden layer）
  • 權重（weight）：就是之前所說的參數，這里被稱為一個神經節點的權重。
  • 激活函數（activation function）：激活函數是兩層神經元之間的映射函數，是一種輸出到輸入的轉換，一般是非線性的，而且是單調可微函數（因為優化方法是基于梯度的）。常見的激活函數有：sigmoid,tanh

那么為什么設計這樣的結構呢？首先從一個最基礎的結構說起，神經元。以前也稱之為感知機。神經元就是要模擬人的神經元結構。

一個神經元通常具有多個樹突，主要用來接受傳入信息；而軸突只有一條，軸突尾端有許多軸突末梢可以給其他多個神經元傳遞信息。軸突末梢跟其他神經元的樹突產生連接，從而傳遞信號。這個連接的位置在生物學上叫做“突觸”。

要理解神經網絡，先解釋一種叫做感知機（perceptron）的人工神經元。感知機由科學家Frank Rosenblatt發明于1950至1960年代，他受到了來自Warren McCulloch 和Walter Pitts的更早工作的啟發。

注：我們通常使用其它種類的人工神經元模型，主要使用的是一種叫做sigmoid神經元（sigmoid neuron）的神經元模型。

2.2.1.1 感知機(PLA: Perceptron Learning Algorithm))

感知機就是模擬這樣的大腦神經網絡處理數據的過程。感知機模型如下圖：

感知機是一種最基礎的分類模型，前半部分類似于回歸模型。感知機最基礎是這樣的函數，而邏輯回歸用的sigmoid。這個感知機具有連接的權重和偏置

2.2.3 神經網絡發展史

• 1、深度學習其實并不是新的事物，深度學習所需要的神經網絡技術起源于20世紀50年代，那個時候叫做感知機。當時也通常使用單層感知機，盡管結構簡單，但是能夠解決相當復雜的問題。
• 2、后來感知機被證明存在嚴重的問題，因為只能學習線性可分函數，連簡單的異或(XOR)等線性不可分問題都無能為力，1969年Marvin Minsky寫了一本叫做《Perceptrons》的書，他提出了著名的兩個觀點：1.單層感知機沒用，我們需要多層感知機來解決復雜問題 2.沒有有效的訓練算法。
• 3、1974年哈佛大學博士畢業生Paul J. Werbos首次提出反向傳播算法應用在神經網絡的可能，The Roots of Backpropagation: From Ordered Derivatives to Neural Networks and Political Forecasting，但并未得到學術界的重視。直到1986年BP算法才真正開始流行起來，主要是因為Rumelhart、Hinton、Williams合著的《Learning representations by back-propagating errors》
• 4、 雖然訓練算法有了突破，但是還存在很多問題，比如以當時計算機的計算能力，訓練一次神經網絡耗時太久，不具備實際使用價值。同時還會存在過擬合以及梯度消失等問題。而90年代中期，由Vapnik等人發明的支持向量機（Support Vector Machines，SVM）算法誕生，它同樣解決了線性不可分問題，但是對比神經網絡有全方位優勢：
  • 1、高效，可以快速訓練；
  • 2、無需調參，沒有梯度消失問題；
  • 3、高效泛化，全局最優解，不存在過擬合問題，幾乎全方位的碾壓神經網絡。
• 5、幾乎在這10幾年的時間，只有Hinton等幾位學者在研究神經網絡。直到2006年，提出了"深度置信網絡"概念，有一個預訓練的過程。使用微調技術作為反向傳播和調優手段。減少了網絡訓練時間，并且提出了一個新的概念叫做"深度學習"
• 6、直到2012年，在ImageNet競賽中，Hinton教授的團隊，使用以卷積神經網絡為基礎的深度學習方案，他們訓練的模型面對15萬張測試圖像時，預測的頭五個類別的錯誤率只有 15.3%，而排名第二的日本團隊，使用的SVM方法構建的模型，相應的錯誤率則高達 26.2%。從此一戰成名！2012年后深度學習就成為主流。

2.2.4 總結

• 神經網絡的定義
• 感知機與神經網絡的聯系
• 神經網絡的發展歷史

總結

以上是生活随笔為你收集整理的图像分类_02神经网络(NN)简介：定义+ 感知机+历史的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。