子空间模式识别
1.Jason Gu
說說我理解的子空間學習。子空間學習大意是指通過投影,實現高維特征向低維空間的映射,是一種經典的降維思想。
例如人臉圖像,如果每幅圖像提取出來的特征是1000維,則每幅圖像對應著1000維空間中的一個點。維數太高給計算帶來很多問題,且很多人認為真實有效的人臉圖像特征并沒有那么高維,可能只有100維,即每幅人臉只是100維空間中的一個點。將特征從1000維壓縮到100維,就是子空間學習問題。
在模式識別中,可能絕大多數的維數約簡(降維,投影)算法都算是子空間學習,如PCA, LDA, LPP, LLE等等。
子空間學習的主要問題,就是如何將特征從高維空間壓縮到低維空間,需要保留什么樣的信息,設定什么樣的準則,低維空間的特征具有哪些特征等問題。
2.Li Eta
子空間學習: 舉例說明,比如你拿到了一組數據要做分類任務,然而數據分布在一個高維空間中,不太方便處理,維度太高導致采用的分類模型的復雜度也相應增高,最終導致分類模型容易過擬合。一般情況下,這個問題無法解決,但是,數據中往往存在一些特性使得這個問題又有了可以解決的希望,比如數據其實分布在高維空間的一個子空間中,你拿到的高維數據其實是子空間中的無噪聲數據+高維噪聲數據,而這個子空間的維度其實不是很大,那么找出這個子空間,就能保證盡量不丟失信息又能降低數據維度,在這個子空間中做訓練,就可以降低過擬合現象。常見的PCA LDA LLE 等都是基于spectral method(譜方法)的子空間學習方法,往往可以看做是kernel pca的特例。還有一類子空間學習方法是R. Vidal做的SSC(subspace clustering)系列,有相應的理論保證。
廣義上看,子空間學習就是降維。
本文引用緣于知乎的回答:機器學習中,什么是基于子空間的學習?
總結
- 上一篇: 新兴机器学习算法:迁移学习
- 下一篇: 飞鸽传书:HTML界面也有它欠缺的方面