Logistic Function == Sigmoid Function
Logistic function, 邏輯函數(shù),邏輯斯諦函數(shù),這些都是一個(gè)意思,指的也都是:
Sigmoid函數(shù)。解釋如下:
---
Sigmoid函數(shù)是一個(gè)S型函數(shù). Sigmoid函數(shù)的數(shù)學(xué)公式為
y = f(x) = 1 / (1 + e^(-x))
Sigmoid函數(shù)具有如下基本性質(zhì):
- 定義域?yàn)?span id="ze8trgl8bvbq" class="math" style="position:relative; top:2px; margin:0px 2px; padding:0px">
- 值域?yàn)?span id="ze8trgl8bvbq" class="math" style="position:relative; top:2px; margin:0px 2px; padding:0px">, 為有界函數(shù)
- 函數(shù)在定義域內(nèi)為連續(xù)和光滑函數(shù)
- 函數(shù)的導(dǎo)數(shù)為
- 不定積分為,?為常數(shù)
由于Sigmoid函數(shù)所具有的性質(zhì), 它常和單位階躍函數(shù)用于構(gòu)造人工神經(jīng)網(wǎng)絡(luò)[1]; 另外心理學(xué)中的學(xué)習(xí)曲線[2]的形狀也和Sigmoid函數(shù)比較類似.
---沒太想明白,Sigmoid函數(shù)為什么會重要到這種程度?
邏輯回歸分析其實(shí)也是一種特殊的線性回歸分析,只不過把歸一化函數(shù)使用sigmoid函數(shù)代替(?是這樣吧?)
在神經(jīng)網(wǎng)絡(luò)ANN中,最基本的單元unit不使用linear unit是因?yàn)樗荒鼙憩F(xiàn)線性函數(shù),無法表現(xiàn)非線性;不使用perceptron(本質(zhì)是sgn函數(shù))是因?yàn)樗贿B續(xù)可導(dǎo),無法使用梯度下降法,這樣一般都選用sigmoid函數(shù)。為什么sigmoid函數(shù)的效果就會這么好?他有什么性質(zhì)能表現(xiàn)這樣好呢?使用其他函數(shù)可以不可以?跟它又差在那里了?
真是還沒想明白。
總結(jié)
以上是生活随笔為你收集整理的Logistic Function == Sigmoid Function的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 庞果网:最小公倍数
- 下一篇: 回归、线性回归和逻辑回归【逻辑回归部分待