常見激活函數(shù)
神經(jīng)網(wǎng)絡(luò)中，常見的激活函數(shù)有以下幾種：

1. sigmoid

$f(x)=\frac{1}{1+e^{?x}}$
$f^{{}^{\prime }}(x)=f(x)(1?f(x))$

2. tanh

$f(x)=\frac{e^x?e^{?x}}{e^x+e^{?x}}$
$f^{{}^{\prime }}(x)=?$

• 二者都需要指數(shù)計算
• sigmoid和tanh都是S型的非線性激活函數(shù)，對輸入做非線性映射。
• 不同的是sigmoid將響應(yīng)值限制在了(0,1)，而tanh則是(-1,1).
• 在自變量處于極大和極小值區(qū)域，導(dǎo)數(shù)幾乎為0，在反向傳播過程中，導(dǎo)致梯度消失，無法更新權(quán)值。

3. ReLU

$$f(x)=\{\begin{array}{c}x,x>0\\ 0,x<=0\end{array}$$
相對于S型函數(shù)，計算簡單，在x>0區(qū)域，不存在梯度消失。
ReLU有個嚴(yán)重的問題，存在死區(qū)。在死區(qū)處，無法更新權(quán)值。

5. Leaky ReLU

見下圖。解決ReLU死區(qū)問題，引入了一個新參數(shù)$a_i$

6. PReLU

與Leaky ReLU類似，但是參數(shù)$a_i$根據(jù)數(shù)據(jù)來定的
參考

7. RReLU

與Leaky ReLU類似，但是參數(shù)$a_i$在U(I,u)中隨機(jī)選擇的

總結(jié)

以上是生活随笔為你收集整理的神经网络中的激活函数的比较的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。