---

←上一篇↓↑下一篇→

1.1 歡迎	回到目錄	1.3 用神經(jīng)網(wǎng)絡(luò)進行監(jiān)督學(xué)習(xí)

---

什么是神經(jīng)網(wǎng)絡(luò)

我們常常用深度學(xué)習(xí)這個術(shù)語來指訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程。有時它指的是特別大規(guī)模的神經(jīng)網(wǎng)絡(luò)訓(xùn)練。那么神經(jīng)網(wǎng)絡(luò)究竟是什么呢？在這個視頻中，我會講解一些直觀的基礎(chǔ)知識。

讓我們從一個房價預(yù)測的例子開始講起。

假設(shè)你有一個數(shù)據(jù)集，它包含了六棟房子的信息。所以，你知道房屋的面積是多少平方英尺或者平方米，并且知道房屋價格。這時，你想要擬合一個根據(jù)房屋面積預(yù)測房價的函數(shù)。

如果你對線性回歸很熟悉，你可能會說：“好吧，讓我們用這些數(shù)據(jù)擬合一條直線。”于是你可能會得到這樣一條直線。

但有點奇怪的是，你可能也發(fā)現(xiàn)了，我們知道價格永遠不會是負(fù)數(shù)的。因此，為了替代一條可能會讓價格為負(fù)的直線，我們把直線彎曲一點，讓它最終在零結(jié)束。這條粗的藍線最終就是你的函數(shù)，用于根據(jù)房屋面積預(yù)測價格。有部分是零，而直線的部分?jǐn)M合的很好。你也許認(rèn)為這個函數(shù)只擬合房屋價格。

作為一個神經(jīng)網(wǎng)絡(luò)，這幾乎可能是最簡單的神經(jīng)網(wǎng)絡(luò)。我們把房屋的面積作為神經(jīng)網(wǎng)絡(luò)的輸入（我們稱之為$x$），通過一個節(jié)點（一個小圓圈），最終輸出了價格（我們用$y$表示）。其實這個小圓圈就是一個單獨的神經(jīng)元。接著你的網(wǎng)絡(luò)實現(xiàn)了左邊這個函數(shù)的功能。

在有關(guān)神經(jīng)網(wǎng)絡(luò)的文獻中，你經(jīng)常看得到這個函數(shù)。從趨近于零開始，然后變成一條直線。這個函數(shù)被稱作ReLU激活函數(shù)，它的全稱是Rectified Linear Unit。rectify（修正）可以理解成$max(0,x)$，這也是你得到一個這種形狀的函數(shù)的原因。

你現(xiàn)在不用擔(dān)心不理解ReLU函數(shù)，你將會在這門課的后面再次看到它。

如果這是一個單神經(jīng)元網(wǎng)絡(luò)，不管規(guī)模大小，它正是通過把這些單個神經(jīng)元疊加在一起來形成。如果你把這些神經(jīng)元想象成單獨的樂高積木，你就通過搭積木來完成一個更大的神經(jīng)網(wǎng)絡(luò)。

讓我們來看一個例子，我們不僅僅用房屋的面積來預(yù)測它的價格，現(xiàn)在你有了一些有關(guān)房屋的其它特征，比如臥室的數(shù)量，或許有一個很重要的因素，一家人的數(shù)量也會影響房屋價格，這個房屋能住下一家人或者是四五個人的家庭嗎？而這確實是基于房屋大小，以及真正決定一棟房子是否能適合你們家庭人數(shù)的臥室數(shù)。

換個話題，你可能知道郵政編碼或許能作為一個特征，告訴你步行化程度。比如這附近是不是高度步行化，你是否能步行去雜貨店或者是學(xué)校，以及你是否需要駕駛汽車。有些人喜歡居住在以步行為主的區(qū)域，另外根據(jù)郵政編碼還和富裕程度相關(guān)（在美國是這樣的）。但在其它國家也可能體現(xiàn)出附近學(xué)校的水平有多好。

在圖上每一個畫的小圓圈都可以是ReLU的一部分，也就是指修正線性單元，或者其它稍微非線性的函數(shù)。基于房屋面積和臥室數(shù)量，可以估算家庭人口，基于郵編，可以估測步行化程度或者學(xué)校的質(zhì)量。最后你可能會這樣想，這些決定人們樂意花費多少錢。

對于一個房子來說，這些都是與它息息相關(guān)的事情。在這個情景里，家庭人口、步行化程度以及學(xué)校的質(zhì)量都能幫助你預(yù)測房屋的價格。以此為例，$x$ 是所有的這四個輸入，$y$ 是你嘗試預(yù)測的價格，把這些單個的神經(jīng)元疊加在一起，我們就有了一個稍微大一點的神經(jīng)網(wǎng)絡(luò)。這顯示了神經(jīng)網(wǎng)絡(luò)的神奇之處，雖然我已經(jīng)描述了一個神經(jīng)網(wǎng)絡(luò)，它可以需要你得到房屋面積、步行化程度和學(xué)校的質(zhì)量，或者其它影響價格的因素。

神經(jīng)網(wǎng)絡(luò)的一部分神奇之處在于，當(dāng)你實現(xiàn)它之后，你要做的只是輸入 $x$，就能得到輸出 $y$。因為它可以自己計算你訓(xùn)練集中樣本的數(shù)目以及所有的中間過程。所以，你實際上要做的就是：這里有四個輸入的神經(jīng)網(wǎng)絡(luò)，這輸入的特征可能是房屋的大小、臥室的數(shù)量、郵政編碼和區(qū)域的富裕程度。給出這些輸入的特征之后，神經(jīng)網(wǎng)絡(luò)的工作就是預(yù)測對應(yīng)的價格。同時也注意到這些被叫做隱藏單元圓圈，在一個神經(jīng)網(wǎng)絡(luò)中，它們每個都從輸入的四個特征獲得自身輸入，比如說，第一個結(jié)點代表家庭人口，而家庭人口僅僅取決于 $x_1$ 和 $x_2$ 特征，換句話說，在神經(jīng)網(wǎng)絡(luò)中，你決定在這個結(jié)點中想要得到什么，然后用所有的四個輸入來計算想要得到的。因此，我們說輸入層和中間層被緊密的連接起來了。

值得注意的是神經(jīng)網(wǎng)絡(luò)給予了足夠多的關(guān)于 $x$ 和 $y$ 的數(shù)據(jù)，給予了足夠的訓(xùn)練樣本有關(guān) $x$ 和 $y$ 。神經(jīng)網(wǎng)絡(luò)非常擅長計算從 $x$ 到 $y$ 的精準(zhǔn)映射函數(shù)。

這就是一個基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)。你可能發(fā)現(xiàn)你自己的神經(jīng)網(wǎng)絡(luò)在監(jiān)督學(xué)習(xí)的環(huán)境下是如此的有效和強大，也就是說你只要嘗試輸入一個 $x$ ，即可把它映射成 $y$ ，就好像我們在剛才房價預(yù)測的例子中看到的效果。

在下一個視頻中，讓我們復(fù)習(xí)一下更多監(jiān)督學(xué)習(xí)的例子，有些例子會讓你覺得你的網(wǎng)絡(luò)會十分有用，并且你實際應(yīng)用起來也是如此。

課程板書

---

←上一篇↓↑下一篇→

1.1 歡迎	回到目錄	1.3 用神經(jīng)網(wǎng)絡(luò)進行監(jiān)督學(xué)習(xí)

---

總結(jié)

以上是生活随笔為你收集整理的1.2 什么是神经网络-深度学习第一课《神经网络与深度学习》-Stanford吴恩达教授的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。