LVW特征选择算法简单介绍
生活随笔
收集整理的這篇文章主要介紹了
LVW特征选择算法简单介绍
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
LVW(Las Vegas Wrapper)是一種典型的包裹式特征選擇方法,它在拉斯維加斯方法框架下使用隨機策略來進行子集搜索,并以最終分類器的誤差為特征子集評價準則。
與過濾式特征選擇不考慮后續學習器不同,包裹式特征選擇直接把最終要使用的學習器的性能作為特征子集的評價準則,換言之,包裹式特征選擇的目的就是為了給定學習器選擇最有利于其性能,量身定做的特征子集。
算法描述:
?
紅色箭頭:交叉驗證學習器之間的誤差。
紅色框框:判斷條件,是不是該保留這個子集。
LVW 基于拉斯維加斯方法的框架,假設數據集為?D,特征集為?A,則 LVW 每次從特征集?A?中隨機產生一個特征子集?A′,然后使用交叉驗證的方法(偽代碼的第 8 步),在這里也就確定了學習器,估計學習器在特征子集?A′?上的誤差,若該誤差小于之前獲得的最小誤差,或者與之前的最小誤差相當但?A′中包含的特征數更少,則將?A′保留下來。
由于 LVW 算法每次評價子集?A′時,都需要重新訓練學習器,計算開銷很大,因此設置了參數?T?來控制停止條件。但當特征數很多(即?|A|很大)并且?T設置得很大時,可能算法運行很長時間都不能停止。
【參考文獻】?
《機器學習》周志華著.–北京:清華大學出版社
??
總結
以上是生活随笔為你收集整理的LVW特征选择算法简单介绍的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: GZIP pre-compression
- 下一篇: 洛谷——P1033 自由落体