AI有道

一個有情懷的公眾號

1

Deep Neural Network

總的來說，根據神經網絡模型的層數、神經元個數、模型復雜度不同，大致可分為兩類：Shallow Neural Networks和Deep Neural Networks。上節課介紹的神經網絡模型層數較少，屬于Shallow Neural Networks，而本節課將著重介紹Deep Neural Networks。首先，比較一下二者之間的優缺點有哪些：

值得一提的是，近些年來，deep learning越來越火，尤其在電腦視覺和語音識別等領域都有非常廣泛的應用。原因在于一層一層的神經網絡有助于提取圖像或者語音的一些物理特征，即pattern feature extraction，從而幫助人們掌握這些問題的本質，建立準確的模型。

下面舉個例子，來看一下深度學習是如何提取出問題潛在的特征從而建立準確的模型的。如下圖所示，這是一個手寫識別的問題，簡單地識別數字1和數字5。

如何進行準確的手寫識別呢？我們可以將寫上數字的圖片分解提取出一塊一塊不同部位的特征。例如左邊三幅圖每張圖代表了數字1的某個部位的特征，三幅圖片組合起來就是完整的數字1。右邊四幅圖也是一樣，每張圖代表了數字5的某個部位的特征，五幅圖組合起來就是完整的數字5。對計算機來說，圖片由許多像素點組成。要達到識別的目的，每層神經網絡從原始像素中提取出更復雜的特征，再由這些特征對圖片內容進行匹配和識別。層數越多，提取特征的個數和深度就越大，同時解決復雜問題的能量就越強，其中每一層都具有相應的物理意義。以上就是深度學習的作用和意義。

深度學習很強大，同時它也面臨很多挑戰和困難：

• difficult structural decisions

• high model complexity

• hard optimization problem

• huge computational complexity

面對以上深度學習的4個困難，有相應的技術和解決的辦法：

其中，最關鍵的技術就是regularization和initialization。

深度學習中，權重的初始化選擇很重要，好的初始值能夠幫助避免出現局部最優解的出現。常用的方法就是pre-train，即先權重進行初始值的選擇，選擇之后再使用backprop算法訓練模型，得到最佳的權重值。在接下來的部分，我們將重點研究pre-training的方法。

2

Autoencoder

我們已經介紹了深度學習的架構，那么從算法模型上來說，如何進行pre-training，得到較好的權重初始值呢？首先，我們來看看，權重是什么？神經網絡模型中，權重代表了特征轉換（feature transform）。從另一個方面也可以說，權重表示一種編碼（encoding），就是把數據編碼成另外一些數據來表示。因為神經網絡是一層一層進行的，有先后順序，所以就單一層來看，好的權重初始值應該是盡可能地包含了該層輸入數據的所有特征，即類似于information-preserving encoding。也就是說，能夠把第i層的輸入數據的特征傳輸到第i+1層，再把第i+1層的輸入數據的特征傳輸到第i+2層，一層一層進行下去。這樣，每層的權重初始值起到了對該層輸入數據的編碼作用，能夠最大限度地保持其特征。

舉個例子，上一小節我們講了簡單的手寫識別的例子。從原始的一張像素圖片轉換到分解的不同筆畫特征，那么反過來，這幾個筆畫特征也可以組合成原來的數字。這種可逆的轉換被稱為information-preserving，即轉換后的特征保留了原輸入的特征，而且轉換是可逆的。這正是pre-train希望做到的，通過encoding將輸入轉換為一些特征，而這些特征又可以復原原輸入x，實現information-preserving。所以，pre-training得到的權重初始值就應該滿足這樣的information-preserving特性。

如何在pre-training中得到這樣的權重初始值（即轉換特征）呢？方法是建立一個簡單的三層神經網絡（一個輸入層、一個隱藏層、一個輸出層），如下圖所示。

那么為什么要使用這樣的結構來逼近identity function，有什么好處呢？首先對于監督式學習（supervised learning），這種d?d??d的NNet結構中含有隱藏層。隱藏層的輸出實際上就是對原始數據合理的特征轉換?(x)，例如手寫識別中隱藏層分解的各個筆畫，包含了有用的信息。這樣就可以從數據中學習得到一些有用的具有代表性的信息。然后，對于非監督式學習（unsupervised learning），autoencoder也可以用來做density estimation。如果網絡最終的輸出g(x)≈x，則表示密度較大；如果g(x)與x相差甚遠，則表示密度較小。也就是說可以根據g(x)與x的接近程度來估計測試數據是落在密度較大的地方還是密度較小的地方。這種方法同樣適用于outlier detection，異常檢測。這樣就可以從數據中學習得到一些典型的具有代表性的信息，找出哪些是典型資料，哪些不是典型資料。所以說，通過autoencoder不斷逼近identity function，對監督式學習和非監督式學習都具有深刻的物理意義和非常廣泛的應用。

以上就是basic autoencoder的結構和一些限定條件。深度學習中，basic autoencoder的過程也就對應著pre-training的過程，使用這種方法，對無label的原始數據進行編碼和解碼，得到的編碼權重就可以作為pre-trained的比較不錯的初始化權重，也就是作為深度學習中層與層之間的初始化權重。

當然，除了basic autoencoder之外還有許多其它表現不錯的pre-training方法。這些方法大都采用不同的結構和正則化技巧來得到不同的’fancier’ autoencoders，這里不再贅述。

3

Denoising Autoencoder

上一部分，我們使用autoencoder解決了deep learning中pre-training的問題。接下來，我們將討論deep learning中有什么樣的regularization方式來控制模型的復雜度。

由于深度學習網絡中神經元和權重的個數非常多，相應的模型復雜度就會很大，因此，regularization非常必要。之前我門也介紹過一些regularization的方法，包括：

• structural decisions/constraints

• weight decay or weight elimination regularizers

• early stopping

下面我們將介紹另外一種regularization的方式，它在deep learning和autoencoder中都有很好的效果。

首先我們來復習一下之前介紹的overfitting產生的原因有哪些。如下圖所示，我們知道overfitting與樣本數量、噪聲大小都有關系，數據量減少或者noise增大都會造成overfitting。如果數據量是固定的，那么noise的影響就非常大，此時，實現regularization的一個方法就是消除noise的影響。

去除noise的一個簡單方法就是對數據進行cleaning/pruning的操作。但是，這種方法通常比較麻煩，費時費力。此處，有一種比較“瘋狂”的方法，就是往數據中添加一些noise。注意是添加noise！下面我們來解釋這樣做到底有什么作用。

這種做法的idea來自于如何建立一個健壯（robust）的autoencoder。在autoencoder中，編碼解碼后的輸出g(x)會非常接近真實樣本值x。此時，如果對原始輸入加入一些noise，對于健壯的autoencoder，編碼解碼后的輸出g(x)同樣會與真實樣本值x很接近。舉個例子，手寫識別中，通常情況下，寫的很規范的數字1經過autoencoder后能夠復原為數字1。如果原始圖片數字1歪斜或加入噪聲，經過autoencoder后應該仍然能夠解碼為數字1。這表明該autoencoder是robust的，一定程度上起到了抗噪聲和regularization的作用，這正是我們希望看到的。

所以，這就引出了denoising autoencoder的概念。denoising autoencoder不僅能實現編碼和解碼的功能，還能起到去噪聲、抗干擾的效果，即輸入一些混入noise的數據，經過autoencoder之后能夠得到較純凈的數據。這樣，autoencoder的樣本集為：

autoencoder訓練的目的就是讓x?n經過編碼解碼后能夠復原為純凈的樣本xn。那么，在deep learning的pre-training中，如果使用這種denoising autoencoder，不僅能從純凈的樣本中編解碼得到純凈的樣本，還能從混入noise的樣本中編解碼得到純凈的樣本。這樣得到的權重初始值更好，因為它具有更好的抗噪聲能力，即健壯性好。實際應用中，denoising autoencoder非常有用，在訓練過程中，輸入混入人工noise，輸出純凈信號，讓模型本身具有抗噪聲的效果，讓模型健壯性更強，最關鍵的是起到了regularization的作用。

4

Principal Component Analysis

剛剛我們介紹的autoencoder是非線性的，因為其神經網絡模型中包含了tanh()函數。這部分我們將介紹linear autoencoder。nonlinear autoencoder通常比較復雜，多應用于深度學習中；而linear autoencoder通常比較簡單，我們熟知的主成分分析（Principal Component Analysis，PCA），其實跟linear autoencoder有很大的關系。

對于一個linear autoencoder，它的第k層輸出不包含tanh()函數，可表示為：

其實，linear autoencoder hypothesis就應該近似于原始輸入x的值，即h(x)=x。根據這個，我們可以寫出它的error function：

我們的目的是計算出Ein(h)最小化時對應的W。根據線性代數知識，首先進行特征值分解：

其中，I是單位矩陣，維度為dxd。這樣，通過特征值分解我們就把對W的優化問題轉換成對Γ和V的優化問題。

首先，我們來優化Γ值，表達式如下：

那么，Γ的最優解已經得出，表達式變成：

這里的最小化問題似乎有點復雜，我們可以做一些轉換，把它變成最大化問題求解，轉換后的表達式為：

引入拉格朗日因子λ，表達式的微分與條件微分應該是平行的，且由λ聯系起來，即：

經過以上分析，我們得到了Γ和V的最優解。這就是linear autoencoder的編解碼推導過程。

值得一提的是，linear autoencoder與PCA推導過程十分相似。但有一點不同的是，一般情況下，PCA會對原始數據x進行處理，即減去其平均值。這是為了在推導過程中的便利。這兩種算法的計算流程大致如下：

linear autoencoder與PCA也有差別，PCA是基于統計學分析得到的。一般我們認為，將高維數據投影（降維）到低維空間中，應該保證數據本身的方差越大越好，而噪聲方差越小越好，而PCA正是基于此原理推導的。linear autoencoder與PCA都可以用來進行數據壓縮，但是PCA應用更加廣泛一些。

以上關于PCA的推導基本上是從幾何的角度，而沒有從代數角度進行詳細的數學推導。網上關于PCA的資料很多，這里附上一篇個人覺得講解得通俗易懂的PCA原理介紹：

http://blog.codinglabs.org/articles/pca-tutorial.html

有興趣的朋友可以看一看。

5

Summary

本文主要介紹了深度學習（deep learning）的數學模型，也是上節課講的神經網絡的延伸。由于深度學習網絡的復雜性，其建模優化是比較困難的。通常，我們可以從pre-training和regularization的角度來解決這些困難。首先，autoencoder可以得到比較不錯的初始化權重，起到pre-training的效果。然后，denoising autoencoder通過引入人工噪聲，訓練得到初始化權重，從而使模型本身抗噪聲能力更強，更具有健壯性，起到了regularization的效果。最后，我們介紹了linear autoencoder并從幾何角度詳述了其推導過程。linear autoencoder與PCA十分類似，都可以用來進行數據壓縮和數據降維處理。

往期回顧

【1】線性支持向量機（LSVM）

【2】深度學習概述

【3】

【4】

【5】卷積神經網絡CNN基礎

【6】循環神經網絡RNN

【7】干貨 | 吳恩達deeplearning.ai專項課程歷史文章匯總

【8】簡單的梯度下降算法，你真的懂了嗎？

【9】力薦 | 臺大林軒田《機器學習基石》資源匯總

長按二維碼

掃描關注

如果喜歡我的文章，就點贊或分享吧！

總結

以上是生活随笔為你收集整理的简述深度学习预训练和正则化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。