機器學習的三個基本因素

機器學習是從有限的觀測數據中學習
（或“猜測”）出具有一般性的規律，并可以將總結出來的規律推廣應用到未觀測樣本上。

機器學習方法可以粗略地分為三個基本要素：模型、學習準則、優化算法。

模型

對于一個機器學習任務，首先要確定其輸入空間$x$和輸出空間$y$，不同機器學習任務的主要區別在于輸出空間不同。在二分類問題中 $y=+1,?1$，在C分類問題中 $y=1,2,...,C$,而在回歸問題中$y=R$.

輸入空間$x$和輸出空間$y$構成了一個樣本空間，對于樣本空間中的樣本$(x,y)\in x\times y$，假定$x$和$y$之間的關系可以通過一個未知的真實映射函數$y=g(x)$或真實條件概率分布$p_r(y/x)$來描述。機器學習的目標是找到一個模型來近似真實映射函數$g(x)$或真實條件概率分布 $p_r(y/x)$。

由于我們不知道真實的映射函數$g(x)$或條件概率分布 $p_r(y/x)$的具體形式因而只能根據經驗來假設一個函數集合$\mathcal{F}$,稱為假設空間( Hypothesis Space)，然后通過觀測其在訓練集$D$上的特性從中選擇一個理想的假設(Hypothesis )$f^{?}\in \mathcal{F}$。

假設空間$F$ 通常為一個參數化的函數族
$$\mathcal{F}=\{f(\mathbf{x};\theta )|\theta \in {\mathbb{R}}^D\}$$
其中$f(\mathbf{x};\theta )$是參數為$\theta$的函數，也稱為模型(Model),D為參數的數量。

常見的假設空間可以分為線性和非線性兩種，對應的模型$f$也分別稱為線性模型和非線性模型.

線性模型

線性模型的假設空間為一個參數化的線性函數族,即
$$f(\mathbf{x};\theta )={\mathbf{w}}^{?}\mathbf{x}+b,$$
其中參數$\theta$包含了權重向量$w$和偏置 $b$.

非線性模型

廣義的非線性模型可以寫為多個非線性基函數$?(x)$的線性組合
$$f(\mathbf{x};\theta )={\mathbf{w}}^{?}?(\mathbf{x})+b$$
其中$?(\mathbf{x})=[{?}_1(\mathbf{x}),{?}_2(\mathbf{x}),?,{?}_K(\mathbf{x}){]}^{?}$為K個非線性基函數組成的向量，參數$\theta$包含了權重向量$w$和偏置$b$。

如果$?(x)$本身為可學習的基函數，比如
$${?}_k(\mathbf{x})=h({\mathbf{w}}_k^{?}{?}^{\prime }(\mathbf{x})+b_k),?1\le k\le K$$
其中$h(?)$為非線性函數，${?}^{\prime }(x)$為另一組基函數，$w_k$和$b_k$為可學習的參數，則$f(\mathbf{x};\theta )$就等價于神經網絡模型。

學習準則

令訓練集$\mathcal{D}=\{(x^{(n)},y^{(n)}){\}}_{n=1}^N$ 是由N個獨立同分布的(Independent and dentically Distributed,IID)樣本組成,即每個樣本$(x,y)\in x\times y$是從$x$和$y$的聯合空間中按照某個未知分布 $p_r(x,y)$獨立地隨機產生的。這里要求樣本分布$p_r(x,y)$必須是固定的(雖然可以是未知的),不會隨時間而變化。如果 $p_r(x,y)$本身可變的話,就無法通過這些數據進行學習.

一個好的模型$f(\mathbf{x},{\theta }^{?})$應該在所有$(x,y)$的可能取值上都與真實映射函數$y=g(x)$一致,即
$$|f(\mathbf{x},{\theta }^{?})?y|<\epsilon ,?(\mathbf{x},y)\in \mathbf{x}\times y,$$
或與真實條件概率分布 $p_r(y/x)$一致,即
$$|f_y(\mathbf{x},{\theta }^{?})?p_r(y|\mathbf{x})|<?,?(\mathbf{x},y)\in \mathbf{x}\times y,$$
其中$?$是一個很小的正數,$f_y(x,{\theta }^{?})$為模型預測的條件概率分布中$y$對應的概率。

模型 $f(x;\theta )$的好壞可以通過期望風險( Expected Risk ) $R(\theta )$來衡量,其定義為
$$\mathcal{R}(\theta )={\mathbb{E}}_{(x,y)?p_r(x,y)}[\mathcal{L}(y,f(\mathbf{x};\theta ))]$$
其中 $p_r(x,y)$為真實的數據分布,$\mathcal{L}(y,f(x;\theta ))$為損失函數,用來量化兩個變量之間的差異.

損失函數

損失函數是一個非負實數函數,用來量化模型預測和真實標簽之間的差異下面介紹幾種常用的損失函數.

0-1損失函數 最直觀的損失函數是模型在訓練集上的錯誤率，即0-1 損失函數( 0-1 Loss Function ) :
$$\mathcal{L}(y,f(\mathbf{x};\theta ))=?\begin{array}{cc}0& \text{if}y=f(\mathbf{x};\theta )\\ 1& \text{if}y\ne f(\mathbf{x};\theta )\\ =I(y\ne f(\mathbf{x};\theta )),& \end{array}$$

平方損失函數 平方損失函數(Quadratic Loss Function)經常用在預測標簽$y$為實數值的任務中,定義為
$$\mathcal{L}(y,f(\mathbf{x};\theta ))=\frac{1}{2}(y?f(\mathbf{x};\theta ){)}^2.$$

平方損失函數一般不適用于分類問題。

交叉損失函數 交叉熵損失函數( Cross-Entropy Loss Function)一般用于分類問題. 假設樣本的標簽$y\in \{1,...,C\}$為離散的類別,模型$f(\mathbf{x};\theta )\in [0,1{]}^C$的輸出為類別標簽的條件概率分布,即
$$p(y=c|\mathbf{x};\theta )=f_c(\mathbf{x};\theta )$$
并滿足
$$f_c(\mathbf{x};\theta )\in [0,1],\sum _{c=1}^C{f}_c(\mathbf{x};\theta )=1$$
我們可以用一個C維的one-hot 向量$y$來表示樣本標簽。設樣本的標簽為k,那么標簽向量$y$只有第k維的值為1,其余元素的值都為0.標簽向量y可以看作樣本標簽的真實條件概率分布 $p_r(y/x)$即第c維(記為$y_c$$ 1\leq c\leq C$)是類別為c的真實條件概率.假設樣本的類別為 $k$,那么它屬于第k類的概率為1屬于其他類的概率為0.

對于兩個概率分布，一般可以用交叉熵來衡量它們的差異.標簽的真實分布y和模型預測分布$f(\mathbf{x};\theta )$之間的交叉熵為
$$\begin{array}{r}\mathcal{L}(\mathbf{y},f(\mathbf{x};\mathbf{\theta }))=?{\mathbf{y}}^{\tau }\log f(\mathbf{x};\mathbf{\theta })\\ =?{\sum }_{c=1}^C{y}_c\log f_c(\mathbf{x};\mathbf{\theta }).\end{array}$$
比如對于三分類問題，一個樣本的標簽向量為 $y=[0,0,1{]}^T$，模型預測的標簽分布為 $f(x;\theta )=[0.3,0.3,0.4{]}^T$，則它們的交叉熵為 $?(0\times log(0.3)+0\times log(0.3)+1\times log(0.4))=?log(0.4)$

因為$y$為one-hot向量,公式也可以寫為
$$\mathcal{L}(y,f(\mathbf{x};\theta ))=?\log f_y(\mathbf{x};\theta )$$
其中$f_y(\mathbf{x};\theta )$可以看作真實類別$y$的似然函數。因此，交叉損失函數也就是負對數似然函數( Negative Log-Likelihood )。

Hinge 損失函數 對于二分類問題，假設y的取值為$?1,+1$，$f(\mathbf{x};\theta )\in R$.

Hinge損失函數(Hinge Loss Function)為
$$\begin{array}{c}\mathcal{L}(y,f(\mathbf{x};\theta ))=\max (0,1?yf(\mathbf{x};\theta ))\\ ?[1?yf(\mathbf{x};\theta ){]}_{+},\end{array}$$
其中${\left[x\right]}_{+}=\max (0,x)$

風險最小化準則

一個好的模型 $f(\mathbf{x};\theta )$應當有一個比較小的期望錯誤，但由于不知道真實的數據分布和映射函數，實際上無法計算其期望風險$\mathcal{R}(\theta )$. 給定一個訓練集 $\mathcal{D}=\{(x^{(n)},y^{(n)}){\}}_{n=1}^N$,我們可以計算的是經驗風險( Empirical Risk ),即在訓練集上的平均損失:
$${\mathcal{R}}_D^{emp}(\theta )=\frac{1}{N}\sum _{n=1}^N\mathcal{L}(y^{(n)},f({\mathbf{x}}^{(n)};\theta ))$$
因此,一個切實可行的學習準則是找到一組參數 ${\theta }^{?}$ 使得經驗風險最小,即
$${\theta }^{?}=\underset{\theta }{\arg }\min {\mathcal{R}}_D^{emp}(\theta )$$
這就是經驗風險最小化( Empirical Risk Minimization,ERM)準則。

過擬合 根據大數定理可知，當訓練集大小$|D|$趨向于無窮大時,經驗風險就趨向于期望風險.然而通常情況下,我們無法獲取無限的訓練樣本,并且訓練樣本往往是真實數據的一個很小的子集或者包含一定的噪聲數據，不能很好地反映全部數據的真實分布.經驗風險最小化原則很容易導致模型在訓練集上錯誤率很低,但是在未知數據上錯誤率很高.這就是所謂的過擬合(Overfitting).

過擬合問題往往是由于訓練數據少和噪聲以及模型能力強等原因造成的.為了解決過擬合問題，一般在經驗風險最小化的基礎上再引入參數的正則化( Regularization) 來限制模型能力，使其不要過度地最小化經驗風險，這種準則就是結構風險最小化(Structure Risk Minimization,SRM) 準則:
$$\begin{array}{rl}{\theta }^x& =\arg \min {\mathcal{R}}_D^{stract}(\theta )\\ & \\ & =\arg \min {\mathcal{R}}_D^{ener}(\theta )+\frac{1}{2}\lambda \Vert \theta {\Vert }^2\\ & \\ & =\arg \min \frac{1}{N}\sum _{n=1}^N\mathcal{L}(y^{(n)},f(x^{(n)};\theta ))+\frac{1}{2}\lambda \Vert \theta {\Vert }^2,\end{array}$$
其中$\Vert \theta \Vert$是${?}_2$范數的正則化項,用來減少參數空間,避免過擬合;用來控制正則化的強度.

正則化項也可以使用其他函數，比如${?}_1$范數。${?}_1$范數的入通常會使得參數有一定稀疏性，因此在很多算法中也經常使用.從貝葉斯學習的角度來講，正則化是引入了參數的先驗分布,使其不完全依賴訓練數據。

和過擬合相反的一個概念是欠擬合(Underfitting) ，即模型不能很好地擬合訓練數據,在訓練集上的錯誤率比較高.欠擬合一般是由于模型能力不足造成的.下圖給出了欠擬合和過擬合的示例.

總之,機器學習中的學習準則并不僅僅是擬合訓練集上的數據,同時也要使得泛化錯誤最低.給定一個訓練集,機器學習的目標是從假設空間中找到一個泛化錯誤較低的“理想”模型,以便更好地對未知的樣本進行預測,特別是不在訓練集中出現的樣本.

因此,我們可以將機器學習看作一個從有限、高維、有噪聲的數據上得到更一般性規律的泛化問題。

總結

以上是生活随笔為你收集整理的机器学习的三个基本因素【模型、学习准则、优化算法】的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。