Soft-Clipping激活函數

論文：Soft Clipping Mish – A Novel Activation Function for Deep Learning

年份：2021

簡介

該函數與Soft-Clipping Swish激活函數十分相似，同樣都是在負區域硬規定為0，正區域為Mish激活函數。這樣可以增加正區域的非線性，但同樣負區域容易造成神經元死亡。
$$Mish(x)=x?tanh(softplus(x))$$
其中，Softplus激活函數為：
$$Softplus(x)=log(1+e^x)$$
由此可以獲得SC_Mish的公式：
$$f(x)=\max (0,x?tanh(softplus(\alpha x)))$$
參數$\alpha$是一個預定義參數，它被設置為1。SC_Mish是一種連續的，單調的功能，底部有邊界，頂部無邊無際。它接受范圍內的值$\left[0,+\infty \right)$。

當$\alpha$為可學習參數時，該可學習參數在訓練階段初始化，初始值為0.25，在網絡權值更新的情況下進行更新。
SC_Mish的導數為：
$$f^{\prime }(x)=tanh(softplus(\alpha x))+\frac{\alpha e^{\alpha x}xsec{h}^2(softplus(1+e^{\alpha x}))}{1+e^{\alpha x}}$$
SC_Mish的曲線如下圖所示。

SC_Mish的導數如下圖所示

總結

以上是生活随笔為你收集整理的Soft-Clipping Mish激活函数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。