深度神經網絡算法分析

人工智能的分類

弱人工智能：特定任務與人類智力或者效率持平

通用人工智能：具有人類智力水平，解決通用問題

超人工智能：超過人類智力水平，可以在創造力上超過常人

機器學習的類型

監督學習：通過標簽的訓練數據集（人臉識別）

無監督學習：通過無標簽數據集自動發掘模式（文本自聚類）

增強學習：通過反饋或者獎懲機制學習（游戲）

人工智能，機器學習，深度學習的關系

人工智能：它是研究，開發用于模擬，延伸和擴展人的智能的理論，方法，技術和應用系統的一門技術科學

機器學習：如果一個程序可以在任務T上，隨著經驗E的增加，效果P也可以隨之增加，則稱這個程序可以在經驗中學習

深度學習：基于深度人工神經網絡，自動地將簡單的特征組合成更加復雜的特征，并使用這些組合特征解決問題。

人工智能是個大范圍，包括了機器學習，機器學習包括了深度學習

深度學習的應用

語音識別

計算機視覺

自然語言處理

深度學習與傳統機器學習的差別

深度學習的三個基礎算法

DNN（deep neural networks）

CNN (convolutional neural networks)

RNN (recurrent neuron network)

深度學習與人工神經網絡

一句話來說就是深度學習的基礎就是人工神經網絡，而人工神經網絡是由生物神經網絡的啟發得來的。

人工神經網路的最小單元稱為感知機，但是現在常常稱為神經元。

神經元的內部

神經元是是人工神經網絡的最小單元
在上圖中

• 輸入：一個向量
• 輸出：一個標量
• 在中間部分，一個大圓，一個正方形，代表運算
  • 線性變換（加權求和）
  • 非線性變化（非線性函數）

輸出就是由線性變換和非線性變換得到的
其實每個神經元可以看作一個復合函數，整個神經網絡就是一個大的復合函數

于是，神經元內部的運算，就可以分開看成下面兩個函數，其中w,b分別為權重和偏秩，一開始可以人為取值，隨著機器的不斷學習，w和b會不斷的更新。

$$\begin{gathered} z=\sum _{i=1}^{k}f(x_i)=x_1{w}_1+x_2{w}_2+x_3{w}_3+.....+x_k{w}_k+b \\ a=g(z) \end{gathered}$$

可以看出，$a=f°g(x_1,x_2,x_3.....,x_k)$的復合函數形式。

also：

通過人為設置得到的參數稱為超參數。

系統輸入與輸出

深度學習模型本質上也是一個運算過程

以房價預測為例：
樣本（特征值）：面積，樓層，戶型。。。。
標簽：價格
那么通過采集得到的數據集應該是下面這樣：

多層感知機

神經網絡又被稱為多層感知機模型

上圖中一共有四層神經模型，不算入input層，只有參與運算過程的層數才能算進去，包括output層

FC（全連接）：每個神經元都和下一層的所有神經元相連

訓練過程三部曲

1. 正向傳播（從input到output，計算預測值）

• 參數（$w,b$)
• 常見的激活函數

2. 反向傳播（從output到input）

• 常見的損失函數
• BP算法

3. 梯度下降

• 參數的更新過程
  通過預測值和真實值之間的損失函數不斷的求偏導數，更新w，b的值。
  $w=w??dw$
  $b=b??db$
  
• 學習率
• 梯度下降的三種方式

激活函數

在上面提到的$a=g(z)$,其中g就是激活函數，存在于非線性變換里面。通過引入激活函數，使得模型具有非線性的劃分能力。將每個線性組合送入激活函數，將輸出結果送入下一層神經元的輸入。

常見的激活函數：

sigmoid函數：（logistic函數）

早期流行的激活函數，RNN-LSTM網絡還會用到。

$f(z)=\frac{1}{1+e^{?z}}$

特點是：

將一個是實數映射到（0，1）之間

在特征相差不大的時候效果比較好

用法：
通常用來做二分類

缺點：

激活函數計算量大

容易出現梯度消失：當數據分布在曲線平滑位置的時候很容易出現梯度消失，梯度容易飽和。

圖像(python 繪制）：

Tanh 函數（雙切正切函數）

$f(x)=\frac{e^x?e^{?x}}{e^x+e^{?x}}$
特點：

取值范圍為[-1,1]

輸出以0為中心

可以看成是一個放大版本的sigmoid函數

用法：

tanh函數比sigmoid函數更加的常用

循環神經網絡會用

二分類問題

靠近輸出值位置

缺點：

梯度容易消失

在曲線水平的區域學習非常的慢

圖像：

Relu 函數（激活函數的重要發明）

$f(x)=max(0,x)$

特點：

relu函數對與梯度收斂有巨大加速作用

只需要一個閥值就可以得到激活值節省計算量

用法：
深層網絡中隱藏層常用

缺點：
過于生猛，一言不合就會使得數據變為0，從此結點后的相關信息全部丟失。

圖像：

其實還有一種函數leaky-ReLU 函數，就是在其負區間弄一定斜率的函數，解決RELU函數的0區間帶來的影響，一般為$max(kx,0)$,k就是leak常數，一般為0.01或0.02，或通過學習得到。

also：
圖像繪制可以看sigmoid Relu and tanh函數圖像繪制

特殊的激活函數

SoftMax函數

線性激活函數
$y=x$，僅僅用于線性回歸

總結

以上是生活随笔為你收集整理的深度神经网络算法分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。