再論 0/1 分類(lèi)問(wèn)題

在邏輯回歸一章中，我們討論了 0/1 分類(lèi)問(wèn)題，并且知道，通過(guò)對(duì)特征進(jìn)行多項(xiàng)式展開(kāi)，可以讓邏輯回歸支持非線性的分類(lèi)問(wèn)題。假定我們現(xiàn)在有 $n$ 維特征，需要進(jìn)行非線性分類(lèi)，采用二次多項(xiàng)式擴(kuò)展特征后，特征個(gè)數(shù)就為 $n+C_n^2\approx \frac{n^2}{2}$ 個(gè)特征，特征的空間復(fù)雜度就為 $O(n^2)$ ，如果擴(kuò)展到三次多項(xiàng)式，則空間復(fù)雜度能達(dá)到 $O(n^3)$ 。下圖中，房屋的特征由原來(lái)的 2 維增加到了 100 維，進(jìn)行二次多項(xiàng)式擴(kuò)展后，特征個(gè)數(shù)達(dá)到了約 5000 維，對(duì)計(jì)算機(jī)的性能提出了很大的挑戰(zhàn)：

也許上例略顯夸張，但并不是高維特征不會(huì)出現(xiàn)，在計(jì)算機(jī)視覺(jué)（CV）領(lǐng)域，圖像的特征往往都是高維的。下圖中，我們想要區(qū)分一幅圖像是否是汽車(chē)圖像，假定圖像分辨率為 $50\times 50$ ，且每個(gè)像素的灰度都為一個(gè)特征，那么一副圖像的特征維度就高達(dá) 2500 維，進(jìn)行二次多項(xiàng)式擴(kuò)展后，特征維度更是達(dá)到了約 3000000：

因此，就需要考慮用新的機(jī)器學(xué)習(xí)模型來(lái)處理高維特征的非線性分類(lèi)問(wèn)題，神經(jīng)網(wǎng)絡(luò)是典型的不需要增加特征數(shù)目就能完成非線性分類(lèi)問(wèn)題的模型。

總結(jié)

以上是生活随笔為你收集整理的3.1 再论 0/1 分类问题-机器学习笔记-斯坦福吴恩达教授的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。