卷積特征提取

Contents [hide] 1概述 2全聯(lián)通網(wǎng)絡(luò) 3部分聯(lián)通網(wǎng)絡(luò) 4卷積 5中英文對(duì)照 6中文譯者

概述

前面的練習(xí)中，解決了一些有關(guān)低分辨率圖像的問(wèn)題，比如：小塊圖像，手寫數(shù)字小幅圖像等。在這部分中，我們將把已知的方法擴(kuò)展到實(shí)際應(yīng)用中更加常見(jiàn)的大圖像數(shù)據(jù)集。

全聯(lián)通網(wǎng)絡(luò)

在稀疏自編碼章節(jié)中，我們介紹了把輸入層和隱含層進(jìn)行“全連接”的設(shè)計(jì)。從計(jì)算的角度來(lái)講，在其他章節(jié)中曾經(jīng)用過(guò)的相對(duì)較小的圖像（如在稀疏自編碼的作業(yè)中用到過(guò)的 8x8 的小塊圖像，在MNIST數(shù)據(jù)集中用到過(guò)的28x28 的小塊圖像），從整幅圖像中計(jì)算特征是可行的。但是，如果是更大的圖像（如 96x96 的圖像），要通過(guò)這種全聯(lián)通網(wǎng)絡(luò)的這種方法來(lái)學(xué)習(xí)整幅圖像上的特征，從計(jì)算角度而言，將變得非常耗時(shí)。你需要設(shè)計(jì) 10 的 4 次方（=10000）個(gè)輸入單元，假設(shè)你要學(xué)習(xí) 100 個(gè)特征，那么就有 10 的 6 次方個(gè)參數(shù)需要去學(xué)習(xí)。與 28x28 的小塊圖像相比較， 96x96 的圖像使用前向輸送或者后向傳導(dǎo)的計(jì)算方式，計(jì)算過(guò)程也會(huì)慢 10 的 2 次方（=100）倍。

部分聯(lián)通網(wǎng)絡(luò)

解決這類問(wèn)題的一種簡(jiǎn)單方法是對(duì)隱含單元和輸入單元間的連接加以限制：每個(gè)隱含單元僅僅只能連接輸入單元的一部分。例如，每個(gè)隱含單元僅僅連接輸入圖像的一小片相鄰區(qū)域。（對(duì)于不同于圖像輸入的輸入形式，也會(huì)有一些特別的連接到單隱含層的輸入信號(hào)“連接區(qū)域”選擇方式。如音頻作為一種信號(hào)輸入方式，一個(gè)隱含單元所需要連接的輸入單元的子集，可能僅僅是一段音頻輸入所對(duì)應(yīng)的某個(gè)時(shí)間段上的信號(hào)。）

網(wǎng)絡(luò)部分連通的思想，也是受啟發(fā)于生物學(xué)里面的視覺(jué)系統(tǒng)結(jié)構(gòu)。視覺(jué)皮層的神經(jīng)元就是局部接受信息的（即這些神經(jīng)元只響應(yīng)某些特定區(qū)域的刺激）。

卷積

自然圖像有其固有特性，也就是說(shuō)，圖像的一部分的統(tǒng)計(jì)特性與其他部分是一樣的。這也意味著我們?cè)谶@一部分學(xué)習(xí)的特征也能用在另一部分上，所以對(duì)于這個(gè)圖像上的所有位置，我們都能使用同樣的學(xué)習(xí)特征。

更恰當(dāng)?shù)慕忉屖?#xff0c;當(dāng)從一個(gè)大尺寸圖像中隨機(jī)選取一小塊，比如說(shuō) 8x8 作為樣本，并且從這個(gè)小塊樣本中學(xué)習(xí)到了一些特征，這時(shí)我們可以把從這個(gè) 8x8 樣本中學(xué)習(xí)到的特征作為探測(cè)器，應(yīng)用到這個(gè)圖像的任意地方中去。特別是，我們可以用從 8x8 樣本中所學(xué)習(xí)到的特征跟原本的大尺寸圖像作卷積，從而對(duì)這個(gè)大尺寸圖像上的任一位置獲得一個(gè)不同特征的激活值。

下面給出一個(gè)具體的例子：假設(shè)你已經(jīng)從一個(gè) 96x96 的圖像中學(xué)習(xí)到了它的一個(gè) 8x8 的樣本所具有的特征，假設(shè)這是由有 100 個(gè)隱含單元的自編碼完成的。為了得到卷積特征，需要對(duì) 96x96 的圖像的每個(gè) 8x8 的小塊圖像區(qū)域都進(jìn)行卷積運(yùn)算。也就是說(shuō)，抽取 8x8 的小塊區(qū)域，并且從起始坐標(biāo)開(kāi)始依次標(biāo)記為（1，1），（1，2），...，一直到（89，89），然后對(duì)抽取的區(qū)域逐個(gè)運(yùn)行訓(xùn)練過(guò)的稀疏自編碼來(lái)得到特征的激活值。在這個(gè)例子里，顯然可以得到 100 個(gè)集合，每個(gè)集合含有 89x89 個(gè)卷積特征。

假設(shè)給定了 的大尺寸圖像，將其定義為x_large。首先通過(guò)從大尺寸圖像中抽取的 的小尺寸圖像樣本x_small 訓(xùn)練稀疏自編碼，計(jì)算 f = σ(W⁽¹⁾x_small + b⁽¹⁾)（σ 是一個(gè) sigmoid 型函數(shù)）得到了 k 個(gè)特征， 其中 W⁽¹⁾ 和b⁽¹⁾ 是可視層單元和隱含單元之間的權(quán)重和偏差值。對(duì)于每一個(gè) 大小的小圖像x_s，計(jì)算出對(duì)應(yīng)的值 f_s = σ(W⁽¹⁾x_s +b⁽¹⁾)，對(duì)這些 f_convolved 值做卷積，就可以得到 個(gè)卷積后的特征的矩陣。

在接下來(lái)的章節(jié)里，我們會(huì)更進(jìn)一步描述如何把這些特征匯總到一起以得到一些更利于分類的特征。

中英文對(duì)照

全聯(lián)通網(wǎng)絡(luò) Full Connected Networks

稀疏編碼 Sparse Autoencoder

前向輸送 Feedforward

反向傳播 Backpropagation

部分聯(lián)通網(wǎng)絡(luò) Locally Connected Networks

連接區(qū)域 Contiguous Groups

視覺(jué)皮層 Visual Cortex

卷積 Convolution

固有特征 Stationary

池化 Pool

from: http://ufldl.stanford.edu/wiki/index.php/%E5%8D%B7%E7%A7%AF%E7%89%B9%E5%BE%81%E6%8F%90%E5%8F%96
《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的Stanford UFLDL教程 卷积特征提取的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。