DL之AE：自編碼器AutoEncoder的簡(jiǎn)介、應(yīng)用、經(jīng)典案例之詳細(xì)攻略

?

?

目錄

自編碼器AutoEncoder的簡(jiǎn)介

1、AutoEncoder發(fā)展史

1.1、RBM

1.2、稀疏AutoEncoder、噪音容忍AutoEncoder、卷積AutoEncoder、變分AutoEncoder→對(duì)抗AutoEncoder

自編碼器AutoEncoder的經(jīng)典案例

1、基礎(chǔ)案例

---

?

?

?

自編碼器AutoEncoder的簡(jiǎn)介

? ? ? ?自編碼器（autoencoder, AE）是一類在半監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)中使用的人工神經(jīng)網(wǎng)絡(luò)ANN，其功能是通過將輸入信息作為學(xué)習(xí)目標(biāo)，對(duì)輸入信息進(jìn)行表征學(xué)習(xí)（representation learning） 。
? ? ? ?自編碼器包含編碼器（encoder）和解碼器（decoder）兩部分。按學(xué)習(xí)范式，自編碼器可以被分為收縮自編碼器（undercomplete autoencoder）、正則自編碼器（regularized autoencoder）和變分自編碼器（Variational AutoEncoder, VAE），其中前兩者是判別模型、后者是生成模型。按構(gòu)筑類型，自編碼器可以是前饋結(jié)構(gòu)或遞歸結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。
? ? ? ?自編碼器具有一般意義上表征學(xué)習(xí)算法的功能，被應(yīng)用于降維（dimensionality reduction）和異常值檢測(cè)（anomaly detection）。包含卷積層構(gòu)筑的自編碼器可被應(yīng)用于計(jì)算機(jī)視覺問題，包括圖像降噪（image denoising）、神經(jīng)風(fēng)格遷移（neural style transfer）等。

1、AutoEncoder發(fā)展史

1.1、1986年RBM

? ? ? ? AutoEncoder的基本思想是利用神經(jīng)網(wǎng)絡(luò)來做無監(jiān)督學(xué)習(xí)，就是把樣本的輸入同時(shí)作為神經(jīng)網(wǎng)絡(luò)的輸入和輸出。本質(zhì)上是希望學(xué)習(xí)到輸入樣本的表示（encoding）。早期AutoEncoder的研究主要是數(shù)據(jù)過于稀疏、數(shù)據(jù)高維導(dǎo)致計(jì)算復(fù)雜度高。比較早用神經(jīng)網(wǎng)絡(luò)做AutoEncoder的可以追溯到80年代的BPNN和MLP以及當(dāng)時(shí)Hinton推崇的RBM。后來到了2000年以后還堅(jiān)持在做的只剩下Hinton的RBM了。

?

1.2、稀疏AutoEncoder、噪音容忍AutoEncoder、卷積AutoEncoder、變分AutoEncoder→對(duì)抗AutoEncoder

? ? ? ? 從2000年以后，隨著神經(jīng)網(wǎng)絡(luò)的快速興起，AutoEncoder也得到快速發(fā)展，基本上有幾條線：稀疏AutoEncoder、噪音容忍AutoEncoder、卷積AutoEncoder、變分AutoEncoder。最新的進(jìn)展是結(jié)合對(duì)抗思想的對(duì)抗AutoEncoder。

• 稀疏AutoEncoder，在學(xué)習(xí)輸入樣本表示的時(shí)候可以學(xué)習(xí)到相對(duì)比較稀疏的表示結(jié)果，這在Overcomplete AutoEncoder（就是學(xué)習(xí)得到高維表示）方法中尤為重要。代表性人物包括斯坦福大學(xué)的Andrew Ng和蒙特利爾的Yoshua Bengio教授。具體方法就是在原來的損失函數(shù)中加一個(gè)控制稀疏化的正則化項(xiàng)，通過控制優(yōu)化過程來實(shí)現(xiàn)。
• Denoising AutoEncoder的核心思想就是提高Encoder的魯棒性，本質(zhì)上就是避免可能的overfitting。一個(gè)辦法是在輸入中加入隨機(jī)噪音（比如隨機(jī)置0一些輸入，或者隨機(jī)把部分輸入變?yōu)閙arked），這些思想后來在BERT等模型中也有廣泛使用；另一個(gè)辦法就是結(jié)合正則化的思想，比如在目標(biāo)函數(shù)中加上eEncoder的Jacobian范數(shù)。Jacobian范數(shù)可以讓學(xué)習(xí)到的特征表示更具有差異性。
• 著名研究者Jurgen Schmidhuber提出了基于卷積網(wǎng)絡(luò)的AutoEncoder以及后來的LSTM AutoEncoder。Max Welling基于變分思想提出變分AutoEncoder方法VAE，這也是一個(gè)里程碑式的研究成果。后面很多研究者在這個(gè)工作上進(jìn)行了擴(kuò)展，包括info-VAE、beta-VAE和factorVAE等。

? ? ? ? 最近還有人借鑒Ian Goodfellow等人提出的對(duì)抗建模思想提出Adversarial AutoEncoder，也取得了很好的效果。這和之前的噪音容忍的AE學(xué)習(xí)也有一定呼應(yīng)。除了上面的思想，就是可以把上面的各種方法stacking起來。

?

?

自編碼器AutoEncoder的經(jīng)典案例

1、基礎(chǔ)案例

TF之AE：AE實(shí)現(xiàn)TF自帶數(shù)據(jù)集AE的encoder之后decoder之前的非監(jiān)督學(xué)習(xí)分類
TF之AE：AE實(shí)現(xiàn)TF自帶數(shù)據(jù)集數(shù)字真實(shí)值對(duì)比AE先encoder后decoder預(yù)測(cè)數(shù)字的精確對(duì)比
?

?

?

?

?

總結(jié)

以上是生活随笔為你收集整理的DL之AE：自编码器AutoEncoder的简介、应用、经典案例之详细攻略的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。