---

←上一篇↓↑下一篇→

2.1 二元分類	回到目錄	2.3 Logistic 回歸損失函數(shù)

---

Logistic 回歸 (Logistic Regression)

在這個(gè)視頻中，我們會(huì)重溫邏輯回歸學(xué)習(xí)算法，該算法適用于二分類問題，本節(jié)將主要介紹邏輯回歸的Hypothesis Function（假設(shè)函數(shù)）。

對(duì)于二元分類問題來講，給定一個(gè)輸入特征向量 $X$，它可能對(duì)應(yīng)一張圖片，你想識(shí)別這張圖片識(shí)別看它是否是一只貓或者不是一只貓的圖片，你想要一個(gè)算法能夠輸出預(yù)測(cè)，你只能稱之為 $\hat{y}$，也就是你對(duì)實(shí)際值 $y$ 的估計(jì)。更正式地來說，你想讓 $\hat{y}$ 表示 $y$ 等于1的一種可能性或者是機(jī)會(huì)，前提條件是給定了輸入特征 $X$。換句話來說，如果 $X$ 是我們?cè)谏蟼€(gè)視頻看到的圖片，你想讓 $\hat{y}$ 來告訴你這是一只貓的圖片的機(jī)率有多大。在之前的視頻中所說的，$X$ 是一個(gè) $n_x$ 維的向量（相當(dāng)于有 $n_x$ 個(gè)特征的特征向量）。我們用來 $w$ 表示邏輯回歸的參數(shù)，這也是一個(gè) $n_x$ 維向量（因?yàn)?$w$ 實(shí)際上是特征權(quán)重，維度與特征向量相同），參數(shù)里面還有 $b$，這是一個(gè)實(shí)數(shù)（表示偏差）。所以給出輸入 $x$ 以及參數(shù) $w$ 和 $b$ 之后，我們?cè)鯓赢a(chǎn)生輸出預(yù)測(cè)值 $\hat{y}$，一件你可以嘗試卻不可行的事是讓 $\hat{y}=w^{T}x+b$。

這時(shí)候我們得到的是一個(gè)關(guān)于輸入 $x$ 的線性函數(shù)，實(shí)際上這是你在做線性回歸時(shí)所用到的，但是這對(duì)于二元分類問題來講不是一個(gè)非常好的算法，因?yàn)槟阆胱?$\hat{y}$ 表示實(shí)際值 $y$ 等于1的機(jī)率的話，$\hat{y}$ 應(yīng)該在0到1之間。這是一個(gè)需要解決的問題，因?yàn)?$w^{T}x+b$ 可能比1要大得多，或者甚至為一個(gè)負(fù)值。對(duì)于你想要的在0和1之間的概率來說它是沒有意義的，因此在邏輯回歸中，我們的輸出 $\hat{y}$ 應(yīng)該是等于由上面得到的線性函數(shù)式子作為自變量的sigmoid函數(shù)中，公式如上圖最下面所示，將線性函數(shù)轉(zhuǎn)換為非線性函數(shù)。

下圖是sigmoid函數(shù)的圖像，如果我把水平軸作為 $z$ 軸，那么關(guān)于 $z$ 的sigmoid函數(shù)是這樣的，它是平滑地從0走向1，讓我在這里標(biāo)記縱軸，這是0，曲線與縱軸相交的截距是0.5，這就是關(guān)于的sigmoid函數(shù)的圖像。我們通常都使用 $z$ 來表示 $w^{T}x+b$ 的值。

關(guān)于sigmoid函數(shù)的公式是這樣的，$\sigma (z)=\frac{1}{1+e^{?z}}$ ,在這里 $z$ 是一個(gè)實(shí)數(shù)，這里要說明一些要注意的事情，如果 $z$ 非常大那么 $e^{?z}$ 將會(huì)接近于0，關(guān)于 $z$ 的sigmoid函數(shù)將會(huì)近似等于1除以1加上某個(gè)非常接近于0的項(xiàng)，因?yàn)?$e$ 的指數(shù)如果是個(gè)絕對(duì)值很大的負(fù)數(shù)的話，這項(xiàng)將會(huì)接近于0，所以如果 $z$ 很大的話那么關(guān)于 $z$ 的sigmoid函數(shù)會(huì)非常接近1。相反地，如果 $z$ 非常小或者說是一個(gè)絕對(duì)值很大的負(fù)數(shù)，那么關(guān)于 $e^{?z}$ 這項(xiàng)會(huì)變成一個(gè)很大的數(shù)，你可以認(rèn)為這是1除以1加上一個(gè)非常非常大的數(shù)，所以這個(gè)就接近于0。實(shí)際上你看到當(dāng) $z$ 變成一個(gè)絕對(duì)值很大的負(fù)數(shù)，關(guān)于 $z$ 的sigmoid函數(shù)就會(huì)非常接近于0，因此當(dāng)你實(shí)現(xiàn)邏輯回歸時(shí)，你的工作就是去讓機(jī)器學(xué)習(xí)參數(shù) $w$ 以及 $b$ 這樣才使得 $\hat{y}$ 成為對(duì) $y=1$ 這一情況的概率的一個(gè)很好的估計(jì)。

在繼續(xù)進(jìn)行下一步之前，介紹一種符號(hào)慣例，可以讓參數(shù) $w$ 和參數(shù) $b$ 分開。在符號(hào)上要注意的一點(diǎn)是當(dāng)我們對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行編程時(shí)經(jīng)常會(huì)讓參數(shù) $w$ 和參數(shù) $b$ 分開，在這里參數(shù) $b$ 對(duì)應(yīng)的是一種偏置。在之前的機(jī)器學(xué)習(xí)課程里，你可能已經(jīng)見過處理這個(gè)問題時(shí)的其他符號(hào)表示。比如在某些例子里，你定義一個(gè)額外的特征稱之為 $x_0$，并且使它等于1，那么 $X$ 現(xiàn)在就是一個(gè) $n_x$ 加1維的變量，然后你定義 $\hat{y}=\sigma ({\theta }^{T}x)$ 的sigmoid函數(shù)。在這個(gè)備選的符號(hào)慣例里，你有一個(gè)參數(shù)向量 ${\theta }_0,{\theta }_1,{\theta }_2,?,{\theta }_{n_x}$，這樣就 ${\theta }_0$ 充當(dāng)了 $b$，這是一個(gè)實(shí)數(shù)，而剩下的 ${\theta }_1$ 直到 ${\theta }_{n_x}$ 充當(dāng)了 $w$ ，結(jié)果就是當(dāng)你實(shí)現(xiàn)你的神經(jīng)網(wǎng)絡(luò)時(shí)，有一個(gè)比較簡(jiǎn)單的方法是保持 $b$ 和 $w$ 分開。但是在這節(jié)課里我們不會(huì)使用任何這類符號(hào)慣例，所以不用去擔(dān)心。 現(xiàn)在你已經(jīng)知道邏輯回歸模型是什么樣子了，下一步要做的是訓(xùn)練參數(shù) $w$ 和參數(shù) $b$，你需要定義一個(gè)代價(jià)函數(shù)，讓我們?cè)谙鹿?jié)課里對(duì)其進(jìn)行解釋。

課程PPT

---

←上一篇↓↑下一篇→

2.1 二元分類	回到目錄	2.3 Logistic 回歸損失函數(shù)

---

總結(jié)

以上是生活随笔為你收集整理的2.2 Logistic 回归-深度学习-Stanford吴恩达教授的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。