Deep Learning近些年來(lái)吸引到了很多的關(guān)注，并且橫跨多領(lǐng)域、橫跨多種產(chǎn)品，有非常非常多的應(yīng)用

深度學(xué)習(xí)的歷史、步驟?

1958年，一開(kāi)始perception的提出引起了轟動(dòng)， 有人說(shuō)可以利用perception來(lái)分辨坦克和卡車(chē)，但結(jié)果是拍攝坦克卡車(chē)的日子不同，一天是雨天一天是晴天，perception只能夠抓到亮度而已

1980年，把多個(gè)perception接在一起

1986年，發(fā)現(xiàn)超過(guò)3個(gè)hidden layer的效果是不好的

1989年，認(rèn)為1個(gè)hidden layer就足夠好了，multi—layer perception的名字臭掉了

2006年， 利用RBM(受限玻爾茲曼機(jī))找初始的值，這是一個(gè)重大的突破

2009年，知道要用GPU來(lái)加速

2011年，開(kāi)始得到認(rèn)可

2012年，贏得了一個(gè)比賽

在機(jī)器學(xué)習(xí)中，執(zhí)行一個(gè)算法通常要經(jīng)過(guò)遵循以下三個(gè)步驟：（1）定義一個(gè)函數(shù)集；（2）定義函數(shù)的好壞；（3）訓(xùn)練參數(shù)，得到不同的函數(shù)，并選擇最好的函數(shù)

Deep?Learning同樣遵循這三個(gè)步驟。具體來(lái)說(shuō)，在第一步中，定義的函數(shù)集為一個(gè)神經(jīng)網(wǎng)絡(luò)（neuron?network） 。

定義一個(gè)函數(shù)集

深度學(xué)習(xí)的結(jié)構(gòu)

如圖所示展示了一個(gè)神經(jīng)網(wǎng)絡(luò)，它是由許多神經(jīng)元（neuron）組成的一個(gè)系統(tǒng)。每一個(gè)神經(jīng)元的參數(shù)為：為每個(gè)輸入分配一個(gè)權(quán)重wi，一個(gè)常數(shù)b，一個(gè)函數(shù)在運(yùn)算中，每個(gè)神經(jīng)元執(zhí)行這樣的操作：將每個(gè)輸入xi乘以權(quán)重wi后求和，將得到的值加上b作為函數(shù)的輸入，輸出得到的函數(shù)值。將這個(gè)神經(jīng)元的輸出將作為下個(gè)神經(jīng)元的輸入，依次將這些神經(jīng)元之間進(jìn)行連接即得到一個(gè)神經(jīng)網(wǎng)絡(luò)。定義了這些神經(jīng)元之間的連接方式，也就定義了函數(shù)集。

不同的連接方式會(huì)形成不同的網(wǎng)絡(luò)結(jié)構(gòu)

舉一個(gè)例子來(lái)說(shuō)明神經(jīng)網(wǎng)絡(luò)是如何運(yùn)作的。下圖展示了一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)的輸入為1和-1，第一個(gè)神經(jīng)元對(duì)兩個(gè)輸入的權(quán)重分別為1和-2，計(jì)算1*1+（-1）*（-2）+1=4，將4作為sigmoid函數(shù)的輸入，輸出(4)=0.98。同理計(jì)算其他神將元，最后整個(gè)神經(jīng)網(wǎng)絡(luò)得到的輸出為0.62和0.83.

?輸入——>藍(lán)色——>紅色——<綠色——>輸出

全連接前饋網(wǎng)絡(luò)

最常見(jiàn)的連接方式——Fully?Connect?Feedforward?Network(全連接前饋網(wǎng)絡(luò))

全連接前饋神經(jīng)網(wǎng)絡(luò)是一種常見(jiàn)的神經(jīng)網(wǎng)絡(luò)連接方式，指的是層與層的神經(jīng)元之間使用全連接的方式連接，即一層中每個(gè)神經(jīng)元的輸出會(huì)參與到下一層每個(gè)神經(jīng)元的輸入。它的輸入是一個(gè)N維向量，輸出是一個(gè)M維向量。輸入稱為Input Layer，輸出結(jié)果的一層神經(jīng)元稱為Output Layer，中間其他的層稱為Hidden Layer，通常將使用了很多Hidden Layer的方法稱為Deep Learing。

?

實(shí)際上一個(gè)neural network在做的事情就是，一個(gè)vector乘上matrix+vector，一連串的矩陣運(yùn)算，gpu可以加速矩陣運(yùn)算

特征提取取代了特征工程，上圖是多分類(lèi)的問(wèn)題

舉一個(gè)小例子（手寫(xiě)數(shù)字識(shí)別）

input是每一個(gè)小方塊是否圖顏色了，output是不同數(shù)字的幾率?

中間有幾個(gè)layer，每個(gè)layer有多少個(gè)neuron是不收到限制的，那么該如何決定它們呢？

通過(guò)經(jīng)驗(yàn)+試錯(cuò)+直覺(jué)?

從機(jī)器學(xué)習(xí)轉(zhuǎn)化為深度學(xué)習(xí)，重點(diǎn)從特征工程（抽好的feature）轉(zhuǎn)變成了如何design network structure

語(yǔ)音辨識(shí)、影像辨識(shí)最早使用深度學(xué)習(xí)?

定義函數(shù)的好壞

?loss是y和y_hat的cross entropy

（1）在function set找一個(gè)function來(lái)minimizes total loss

（2）找network的參數(shù)來(lái)minimizes total loss

并選擇最好的函數(shù)

依然是使用梯度下降的辦法

?

?有這些方法來(lái)算微分，具體不需要知道

為什么要用Deep?Learning（多層Hidden? Layer）

一個(gè)已經(jīng)被證實(shí)的理論是，一層Hidden?Layer就足以模擬出任何函數(shù)，那么為什么還要使用Deep?Learning呢？當(dāng)然是因?yàn)镈eep?Learning的效果更好。如圖，同一行的數(shù)據(jù)使用參數(shù)的個(gè)數(shù)是相似的。可以看出，使用多層Layer的效果明顯好于只使用一層的。

?只要hidden neurons夠多，可以表示成任何一個(gè)function

總結(jié)

以上是生活随笔為你收集整理的李宏毅深度学习——深度学习介绍的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。