AI有道

一個有情懷的公眾號

1

Feature Exploitation Techniques

我們在本系列課程中介紹的第一個特征提取的方法就是kernel。Kernel運算將特征轉換和計算內積這兩個步驟合二為一，提高了計算效率。我們介紹過的kernel有：Polynormial Kernel、Gaussian Kernel、Stump Kernel等。另外，我們可以將不同的kernels相加（transform union）或者相乘（transform combination），得到不同的kernels的結合形式，讓模型更加復雜。值得一提的是，要成為kernel，必須滿足Mercer Condition。不同的kernel可以搭配不同的kernel模型，比如：SVM、SVR和probabilistic SVM等，還包括一些不太常用的模型：kernel ridge regression、kernel logistic regression。使用這些kernel模型就可以將線性模型擴展到非線性模型，kernel就是實現一種特征轉換，從而能夠處理非常復雜的非線性模型。順便提一下，因為PCA、k-Means等算法都包含了內積運算，所以它們都對應有相應的kernel版本。

Kernel是我們利用特征轉換的第一種方法，那利用特征轉換的第二種方法就是Aggregation。我們之前介紹的所有的hypothesis都可以看成是一種特征轉換，然后再由這些g組合成G。我們介紹過的分類模型（hypothesis）包括：Decision Stump、Decision Tree和Gaussian RBF等。如果所有的g是已知的，就可以進行blending，例如Uniform、Non-Uniform和Conditional等方式進行aggregation。如果所有的g是未知的，可以使用例如Bagging、AdaBoost和Decision Tree的方法來建立模型。除此之外，還有probabilistic SVM模型。值得一提的是，機器學習中很多模型都是類似的，我們在設計一個機器學習模型時，應該融會貫通。

除此之外，我們還介紹了利用提取的方式，找出潛藏的特征（Hidden Features）。一般通過unsupervised learning的方法，從原始數據中提取出隱藏特征，使用權重表征。相應的模型包括：Neural Network、RBF Network、Matrix Factorization等。這些模型使用的unsupervised learning方法包括：AdaBoost、k-Means和Autoencoder、PCA等。

另外，還有一種非常有用的特征轉換方法是維度壓縮，即將高維度的數據降低（投影）到低維度的數據。我們介紹過的維度壓縮模型包括：Decision Stump、Random Forest Tree Branching、Autoencoder、PCA和Matrix Factorization等。這些從高緯度到低緯度的特征轉換在實際應用中作用很大。

2

Error Optimization Techniques

接下來我們將總結一下本系列課程中介紹過哪些優化技巧。首先，第一個數值優化技巧就是梯度下降（Gradient Descent），即讓變量沿著其梯度反方向變化，不斷接近最優解。例如我們介紹過的SGD、Steepest Descent和Functional GD都是利用了梯度下降的技巧。

而對于一些更復雜的最佳化問題，無法直接利用梯度下降方法來做，往往需要一些數學上的推導來得到最優解。最典型的例子是Dual SVM，還包括Kernel LogReg、Kernel RidgeReg和PCA等等。這些模型本身包含了很多數學上的一些知識，例如線性代數等等。除此之外，還有一些boosting和kernel模型，雖然本課程中沒有提到，但是都會用到類似的數學推導和轉換技巧。

如果原始問題比較復雜，求解比較困難，我們可以將原始問題拆分為子問題以簡化計算。也就是將問題劃分為多個步驟進行求解，即Multi-Stage。例如probabilistic SVM、linear blending、RBF Network等。還可以使用交叉迭代優化的方法，即Alternating Optim。例如k-Means、alternating LeastSqr等。除此之外，還可以采樣分而治之的方法，即Divide & Conquer。例如decision tree。

3

Overfitting Elimination Techniques

Feature Exploitation Techniques和Error Optimization Techniques都是為了優化復雜模型，減小Ein。但是Ein太小有很可能會造成過擬合overfitting。因此，機器學習中，Overfitting Elimination尤為重要。

首先，可以使用Regularization來避免過擬合現象發生。我們介紹過的方法包括：large-margin、L2、voting/averaging等等。

除了Regularization之外，還可以使用Validation來消除Overfitting。我們介紹過的Validation包括：SV、OOB和Internal Validation等。

4

Machine Learning in Action

本小節介紹了林軒田老師所在的臺大團隊在近幾年的KDDCup國際競賽上的表現和使用的各種機器算法。融合了我們在本系列課程中所介紹的很多機器學習技法和模型。這里不再一一贅述，將相應的圖片貼出來，讀者自己看看吧。

ICDM在2006年的時候發布了排名前十的數據挖掘算法，如下圖所示。其中大部分的算法我們在本系列的課程中都有過介紹。值得一提的是Naive Bayes算法本課程中沒有涉及，貝葉斯模型在實際中應用還是挺廣泛的，后續可能還需要深入學習一下。

最后，我們將所有介紹過的機器學習算法和模型列舉出來：

往期回顧

【1】線性支持向量機（LSVM）

【2】深度學習概述

【3】

【4】

【5】卷積神經網絡CNN基礎

【6】循環神經網絡RNN

【7】干貨 | 吳恩達deeplearning.ai專項課程歷史文章匯總

【8】簡單的梯度下降算法，你真的懂了嗎？

【9】力薦 | 臺大林軒田《機器學習基石》資源匯總

長按二維碼

掃描關注

如果喜歡我的文章，就點贊或分享吧！

總結

以上是生活随笔為你收集整理的【完结】林轩田机器学习技法终章的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。