轉載自CSDN, CReLU激活函數

CReLU 一種改進 ReLU 激活函數的文章，來自ICML2016.

1. 背景介紹

整個文章的出發點來自于下圖的統計現象：



為了看懂上圖。

（1）首先介紹一下余弦相似度(cos距離)的概念



cos距離的取值范圍是 [-1,+1]，距離越接近-1，表示兩個向量的方向越相反，即呈負相關關系。

?
?

（2）再來介紹一下 pair filter的定義

一個卷積層有 \(j=1, \cdots, n\) 個卷積核(filter), 一個卷積核 \(?_i\) 對應的 pairing filter 定義為

\[?_i = argmin_{?_j}cos<?_i, ?_j>\]

即從所有卷積核中選擇一個cos相似度最小的卷積核。

我們再回頭看上圖。 對所有卷積核尋找其 pair filter，并計算cos相似度得到藍色的統計直方圖。 紅色的曲線，是假設隨機高斯分布生成的卷積核得到的相似度統計。

現象：網絡的前部，參數的分布有更強的負相關性(類似于正負對立)。隨著網絡變深，這種負相關性逐步減弱。
結論：網絡的前部，網絡傾向于同時捕獲正負相位的信息，但ReLU會抹掉負響應。 這造成了卷積核會存在冗余。

2. CReLU

CReLU的定義很簡單：

\[\text{CReLU(x)= Concat[ ReLU(x), ReLU(?x) ]}\]

輸出維度會自動加倍。 比如

\[ [?3, 1] \rightarrow \begin{matrix} [[0&1], \\ [3&0]] \\ \end{matrix}\]

在網絡中的實現也很簡單，甚至不用修改代碼（通過scale層取反再經過一次ReLU）



轉載于:https://www.cnblogs.com/nowgood/p/crelu.html

總結

以上是生活随笔為你收集整理的CReLU激活函数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。