一、說明

? ? ? ? 在邏輯回歸和一些機器學習算法中， Logistic函數(shù)和Softmax函數(shù)是常用到的，今天就先討論下這兩個函數(shù)。

二、Logistic Function

? ? ? ? Logistic function一般用于二分類問題，它的函數(shù)定義如下：

f(x)=11+e?x(1)
它的圖像如下：

由于logistic 函數(shù)的圖形很像S，所以也叫sigmod 曲線。下面求一下logistic函數(shù)的導數(shù)，它在機器學習算法的推導過程中可能用到。

f′(x)=[(1+e?x)?1]′=?(1+e?x)?2?e?x?(?1)=e?x(1+e?x)2=11+e?xe?x1+e?x=11+e?x1+e?x?11+e?x=11+e?x(1?11+e?x)=f(x)[1?f(x)]
即 f′(x)=f(x)[1?f(x)]
通過logistic函數(shù)，可以把變量 x映射到[0, 1]之間,在分類問題上，x是訓練集上數(shù)據(jù)和對應維度特征參數(shù)的組合：θTx+b, 具體會在后邊講到。

三、Softmax Function

Softmax function 是sigmod 函數(shù)的擴展，它可以用于多分類問題。它的定義如下所示：

Yk=?(zk)=ezk∑Ki=1ezi,k=1,2,…,K
其中， z往往是關(guān)于參數(shù)和樣本數(shù)據(jù)的復合函數(shù)，softmax 函數(shù)的目的是求使得Yk取值最大的 z中的參數(shù)，k表示有k個分類。

圖中的 P(t|z)表示對于給定的輸入 z,它屬于t的概率值。關(guān)于具體的推導，可參照文獻2. 但是注意，文獻2 中的?K=?ieβi, 有問題請隨時留言。

四、參考文獻

http://peterroelants.github.io/posts/neural_network_implementation_intermezzo02/

http://blog.csdn.net/hejunqing14/article/details/48980321

總結(jié)

以上是生活随笔為你收集整理的机器学习笔记（十）——Logistic Function AND Softmax Function的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。