【机器学习】算法模型自动超参数优化方法
什么是超參數(shù)？
學(xué)習(xí)器模型中一般有兩類(lèi)參數(shù)，一類(lèi)是可以從數(shù)據(jù)中學(xué)習(xí)估計(jì)得到，我們稱(chēng)為參數(shù)（Parameter）。還有一類(lèi)參數(shù)時(shí)無(wú)法從數(shù)據(jù)中估計(jì)，只能靠人的經(jīng)驗(yàn)進(jìn)行設(shè)計(jì)指定，我們稱(chēng)為超參數(shù)（Hyper parameter）。超參數(shù)是在開(kāi)始學(xué)習(xí)過(guò)程之前設(shè)置值的參數(shù)。相反，其他參數(shù)的值通過(guò)訓(xùn)練得出。
超參數(shù)：
定義關(guān)于模型的更高層次的概念，如復(fù)雜性或?qū)W習(xí)能力 不能直接從標(biāo)準(zhǔn)模型培訓(xùn)過(guò)程中的數(shù)據(jù)中學(xué)習(xí)，需要預(yù)先定義 可以通過(guò)設(shè)置不同的值，訓(xùn)練不同的模型和選擇更好的測(cè)試值來(lái)決定 參數(shù)空間的搜索一般由以下幾個(gè)部分構(gòu)成：
一個(gè)estimator(回歸器 or 分類(lèi)器)
一個(gè)參數(shù)空間
一個(gè)搜索或采樣方法來(lái)獲得候選參數(shù)集合
一個(gè)交叉驗(yàn)證機(jī)制
一個(gè)評(píng)分函數(shù)
Scikit-Learn中的超參數(shù)優(yōu)化方法
在機(jī)器學(xué)習(xí)模型中，比如隨機(jī)森林中決策樹(shù)的個(gè)數(shù)，人工神經(jīng)網(wǎng)絡(luò)模型中的隱藏層層數(shù)和每層的節(jié)點(diǎn)個(gè)數(shù)，正則項(xiàng)中常數(shù)大小等等，它們都需要事先指定。超參數(shù)選擇不恰當(dāng)，就會(huì)出現(xiàn)欠擬合或者過(guò)擬合的問(wèn)題。在Scikit-Learn中，超參數(shù)是在學(xué)習(xí)過(guò)程開(kāi)始之前設(shè)置其值的參數(shù)。典型的例子包括支持向量機(jī)里的C、kernel、gamma等。
class?sklearn.svm.SVC(*,?C=1.0,?kernel='rbf',?degree=3,?gamma='scale',?coef0=0.0,?shrinking=True,?probability=False,?tol=0.001,?cache_size=200,?class_weight=None,?verbose=False,?max_iter=-1,?decision_function_shape='ovr',?break_ties=False,?random_state=None)使用過(guò)程中可以使用estimator.get_params() 獲得學(xué)習(xí)器模型的超參數(shù)列表和當(dāng)前取值。
Sklearn提供了兩種通用的超參數(shù)優(yōu)化方法：網(wǎng)格搜索與隨機(jī)搜索。
交叉驗(yàn)證 （Cross-Validation）- CV 簡(jiǎn)介
在機(jī)器學(xué)習(xí)里，通常來(lái)說(shuō)我們不能將全部用于數(shù)據(jù)訓(xùn)練模型，否則我們將沒(méi)有數(shù)據(jù)集對(duì)該模型進(jìn)行驗(yàn)證，從而評(píng)估我們的模型的預(yù)測(cè)效果。為了解決這一問(wèn)題，有如下常用的方法：
The Validation Set Approach（驗(yàn)證集方案）
這種是方法最簡(jiǎn)單的，也是很容易就想到的。我們可以把整個(gè)數(shù)據(jù)集分成兩部分，一部分用于訓(xùn)練，一部分用于驗(yàn)證，這也就是我們經(jīng)常提到的訓(xùn)練集（training set）和測(cè)試集（test set）。
不過(guò)，這個(gè)簡(jiǎn)單的方法存在兩個(gè)弊端：
最終模型與參數(shù)的選取將極大程度依賴(lài)于你對(duì)訓(xùn)練集和測(cè)試集的劃分方法。在不同的劃分方法下，test MSE的變動(dòng)是很大的，而且對(duì)應(yīng)的最優(yōu)degree也不一樣。所以如果我們的訓(xùn)練集和測(cè)試集的劃分方法不夠好，很有可能無(wú)法選擇到最好的模型與參數(shù)。
該方法只用了部分?jǐn)?shù)據(jù)進(jìn)行模型的訓(xùn)練。當(dāng)用于模型訓(xùn)練的數(shù)據(jù)量越大時(shí)，訓(xùn)練出來(lái)的模型通常效果會(huì)越好。所以訓(xùn)練集和測(cè)試集的劃分意味著我們無(wú)法充分利用我們手頭已有的數(shù)據(jù)，所以得到的模型效果也會(huì)受到一定的影響。
基于這樣的背景，有人就提出了Cross-Validation方法，也就是交叉驗(yàn)證。
Cross-Validation
LOOCV（留一法）
LOOCV即（Leave-one-out cross-validation）。像Test set approach一樣，LOOCV方法也包含將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集這一步驟。但是不同的是，我們只用一個(gè)數(shù)據(jù)作為測(cè)試集，其他的數(shù)據(jù)都作為訓(xùn)練集，并將此步驟重復(fù)N次（N為數(shù)據(jù)集的數(shù)據(jù)數(shù)量）。
假設(shè)我們現(xiàn)在有n個(gè)數(shù)據(jù)組成的數(shù)據(jù)集，那么LOOCV的方法就是每次取出一個(gè)數(shù)據(jù)作為測(cè)試集的唯一元素，而其他n-1個(gè)數(shù)據(jù)都作為訓(xùn)練集用于訓(xùn)練模型和調(diào)參。結(jié)果就是我們最終訓(xùn)練了n個(gè)模型，每次都能得到一個(gè)MSE。而計(jì)算最終test MSE則就是將這n個(gè)MSE取平均。
比起test set approach，LOOCV有很多優(yōu)點(diǎn)。首先它不受測(cè)試集合訓(xùn)練集劃分方法的影響，因?yàn)槊恳粋€(gè)數(shù)據(jù)都單獨(dú)的做過(guò)測(cè)試集。同時(shí)，其用了n-1個(gè)數(shù)據(jù)訓(xùn)練模型，也幾乎用到了所有的數(shù)據(jù)，保證了模型的bias更小。不過(guò)LOOCV的缺點(diǎn)也很明顯，那就是計(jì)算量過(guò)于大，是test set approach耗時(shí)的n-1倍。
K-fold Cross Validation（k 折交叉驗(yàn)證）
K折交叉驗(yàn)證，和LOOCV的不同在于，我們每次的測(cè)試集將不再只包含一個(gè)數(shù)據(jù)，而是多個(gè)，具體數(shù)目將根據(jù)K的選取決定。比如，如果K=5，那么我們利用五折交叉驗(yàn)證的步驟就是：
將所有數(shù)據(jù)集分成5份
不重復(fù)地每次取其中一份做測(cè)試集，用其他四份做訓(xùn)練集訓(xùn)練模型，之后計(jì)算該模型在測(cè)試集上的MSE
將5次的MSE取平均作為最后而得到MSE
不難理解，其實(shí)LOOCV是一種特殊的K-fold Cross Validation（K=N）。最后K的選取是一個(gè)Bias和Variance的trade-off。K越大，每次投入的訓(xùn)練集的數(shù)據(jù)越多，模型的Bias越小。但是K越大，又意味著每一次選取的訓(xùn)練集之前的相關(guān)性越大（考慮最極端的例子，當(dāng)k=N，也就是在LOOCV里，每次都訓(xùn)練數(shù)據(jù)幾乎是一樣的）。而這種大相關(guān)性會(huì)導(dǎo)致最終的test error具有更大的Variance。一般K值選擇5或10。
網(wǎng)格搜索 GridSearchCV
我們?cè)谶x擇超參數(shù)有兩個(gè)途徑：1)憑經(jīng)驗(yàn)；2)選擇不同大小的參數(shù)，帶入到模型中，挑選表現(xiàn)最好的參數(shù)。通過(guò)途徑2選擇超參數(shù)時(shí)，人力手動(dòng)調(diào)節(jié)注意力成本太高，非常不值得。For循環(huán)或類(lèi)似于for循環(huán)的方法受限于太過(guò)分明的層次，不夠簡(jiǎn)潔與靈活，注意力成本高，易出錯(cuò)。GridSearchCV 稱(chēng)為網(wǎng)格搜索交叉驗(yàn)證調(diào)參，它通過(guò)遍歷傳入的參數(shù)的所有排列組合，通過(guò)交叉驗(yàn)證的方式，返回所有參數(shù)組合下的評(píng)價(jià)指標(biāo)得分。
GridSearchCV聽(tīng)起來(lái)很高大上，其實(shí)就是暴力搜索。注意的是，該方法在小數(shù)據(jù)集上很有用，數(shù)據(jù)集大了就不太適用了。數(shù)據(jù)量比較大的時(shí)候可以使用一個(gè)快速調(diào)優(yōu)的方法——坐標(biāo)下降。它其實(shí)是一種貪心算法：拿當(dāng)前對(duì)模型影響最大的參數(shù)調(diào)優(yōu)，直到最優(yōu)化；再拿下一個(gè)影響最大的參數(shù)調(diào)優(yōu)，如此下去，直到所有的參數(shù)調(diào)整完畢。這個(gè)方法的缺點(diǎn)就是可能會(huì)調(diào)到局部最優(yōu)而不是全局最優(yōu)，但是省時(shí)間省力。
GridSearchCV使用說(shuō)明
class?sklearn.model_selection.GridSearchCV(estimator,?param_grid,?scoring=None,?n_jobs=None,?refit=True,?cv='warn',?verbose=0,?pre_dispatch='2*n_jobs',?error_score='raise-deprecating',?return_train_score='warn')參數(shù)詳解：
estimator：所使用的模型，傳入除需要確定最佳的參數(shù)之外的其他參數(shù)。模型都需要一個(gè)score方法，或傳入scoring參數(shù)。
param_grid：需要搜索調(diào)參的參數(shù)字典，參數(shù)值類(lèi)型為字典（dict）或由字典組成的列表（list）。用于設(shè)置待評(píng)測(cè)參數(shù)和對(duì)應(yīng)的參數(shù)值。
scoring：模型評(píng)價(jià)標(biāo)準(zhǔn)，默認(rèn)None，這時(shí)需要使用score函數(shù)；或者如scoring=’roc_auc’，根據(jù)所選模型不同，評(píng)價(jià)準(zhǔn)則不同。字符串（函數(shù)名），或是可調(diào)用對(duì)象，需要其函數(shù)簽名形如：scorer(estimator, X, y)；如果是None，則使用estimator的誤差估計(jì)函數(shù)。下文表格中詳細(xì)指定了score可取的值和函數(shù)形式。
n_jobs：并行計(jì)算線(xiàn)程個(gè)數(shù)，1:默認(rèn)值，可以設(shè)置為 -1（跟CPU核數(shù)一致），這樣可以充分使用機(jī)器的所有處理器。
refit：默認(rèn)為T(mén)rue，程序?qū)?huì)以交叉驗(yàn)證訓(xùn)練集得到的最佳參數(shù)。即在搜索參數(shù)結(jié)束后，用最佳參數(shù)結(jié)果再次fit一遍全部數(shù)據(jù)集。
cv：交叉驗(yàn)證參數(shù)，可接受的參數(shù)：
默認(rèn)None，使用3折交叉驗(yàn)證。
指定fold數(shù)量
CV splitter
yield訓(xùn)練、測(cè)試數(shù)據(jù)的生成器。
verbose：日志冗長(zhǎng)度
0：不輸出訓(xùn)練過(guò)程
1：偶爾輸出
dayda'y'd1：對(duì)每個(gè)子模型都輸出
pre_dispatch：指定總共分發(fā)的并行任務(wù)數(shù)。當(dāng)n_jobs大于1時(shí)，數(shù)據(jù)將在每個(gè)運(yùn)行點(diǎn)進(jìn)行復(fù)制，這可能導(dǎo)致內(nèi)存問(wèn)題，而設(shè)置pre_dispatch參數(shù)，則可以預(yù)先劃分總共的job數(shù)量，使數(shù)據(jù)最多被復(fù)制pre_dispatch次。
error_score：擬合中發(fā)生錯(cuò)誤時(shí)分配的值，如果設(shè)置為’raise’則會(huì)引發(fā)錯(cuò)誤。如果設(shè)置的是一個(gè)數(shù)字，則為引發(fā)FitFailedWarning的警告信息，默認(rèn)值將在22版本其由原先的’raise’ 更改為np.nan。
return_train_score：如果“False”，cv_results_屬性將不包括訓(xùn)練分?jǐn)?shù)。
GridSearchCV對(duì)象
cv_results_:用來(lái)輸出cv結(jié)果的，可以是字典形式也可以是numpy形式，還可以轉(zhuǎn)換成DataFrame格式
best_estimator_：通過(guò)搜索參數(shù)得到的最好的估計(jì)器，當(dāng)參數(shù)refit=False時(shí)該對(duì)象不可用
best_score_：float類(lèi)型，輸出最好的成績(jī)
best_params_：通過(guò)網(wǎng)格搜索得到的score最好對(duì)應(yīng)的參數(shù)
best_index_：對(duì)應(yīng)于最佳候選參數(shù)設(shè)置的索引（cv_results_數(shù)組）。cv_results _ [‘params’] [search.best_index_]中的dict給出了最佳模型的參數(shù)設(shè)置，給出了最高的平均分?jǐn)?shù)（best_score_）。
scorer_：評(píng)分函數(shù)
n_splits_：交叉驗(yàn)證的數(shù)量
refit_time_：refit所用的時(shí)間，當(dāng)參數(shù)refit=False時(shí)該對(duì)象不可用
GridSearchCV方法
decision_function(X)：返回決策函數(shù)值（比如svm中的決策距離）
fit(X,y=None,groups=None,fit_params)：在數(shù)據(jù)集上運(yùn)行所有的參數(shù)組合
get_params(deep=True)：返回估計(jì)器的參數(shù)
inverse_transform(Xt)：Call inverse_transform on the estimator with the best found params.
predict(X)：返回預(yù)測(cè)結(jié)果值（0/1）
predict_log_proba(X)：Call predict_log_proba on the estimator with the best found parameters.
predict_proba(X):返回每個(gè)類(lèi)別的概率值（有幾類(lèi)就返回幾列值）
score(X, y=None):返回函數(shù)
set_params(**params)：Set the parameters of this estimator.
transform(X):在X上使用訓(xùn)練好的參數(shù)
使用示例：
from?sklearn.model_selection?import?GridSearchCV from?sklearn.svm?import?SVR from?sklearn?import?datasets dataset?=?datasets.load_iris() X?=?dataset.data y?=?dataset.target grid?=?GridSearchCV(estimator=SVR(kernel='rbf'),param_grid={'C':?[0.1,?1,?10,?100],'epsilon':?[0.0001,?0.001,?0.01,?0.1,?1,?10],'gamma':?[0.001,?0.01,?0.1,?1]},cv=5,?scoring='neg_mean_squared_error',?verbose=0,?n_jobs=-1) grid.fit(X,?y) print(grid.best_score_) print(grid.best_params_)隨機(jī)搜索 RandomizedSearchCV
我們?cè)谒阉鞒瑓?shù)的時(shí)候，如果超參數(shù)個(gè)數(shù)較少（三四個(gè)或者更少），那么我們可以采用網(wǎng)格搜索，一種窮盡式的搜索方法。但是當(dāng)超參數(shù)個(gè)數(shù)比較多的時(shí)候，我們?nèi)匀徊捎镁W(wǎng)格搜索，那么搜索所需時(shí)間將會(huì)指數(shù)級(jí)上升。所以有人就提出了隨機(jī)搜索的方法，隨機(jī)在超參數(shù)空間中搜索幾十幾百個(gè)點(diǎn)，其中就有可能有比較小的值。這種做法比上面稀疏化網(wǎng)格的做法快，而且實(shí)驗(yàn)證明，隨機(jī)搜索法結(jié)果比稀疏網(wǎng)格法稍好。
RandomizedSearchCV使用方法和類(lèi)GridSearchCV 很相似，但他不是嘗試所有可能的組合，而是通過(guò)選擇每一個(gè)超參數(shù)的一個(gè)隨機(jī)值的特定數(shù)量的隨機(jī)組合，這個(gè)方法有兩個(gè)優(yōu)點(diǎn)：
相比于整體參數(shù)空間，可以選擇相對(duì)較少的參數(shù)組合數(shù)量。如果讓隨機(jī)搜索運(yùn)行，它會(huì)探索每個(gè)超參數(shù)的不同的值 可以方便的通過(guò)設(shè)定搜索次數(shù)，控制超參數(shù)搜索的計(jì)算量。添加參數(shù)節(jié)點(diǎn)不會(huì)影響性能，不會(huì)降低效率。RandomizedSearchCV的使用方法其實(shí)是和GridSearchCV一致的，但它以隨機(jī)在參數(shù)空間中采樣的方式代替了GridSearchCV對(duì)于參數(shù)的網(wǎng)格搜索，在對(duì)于有連續(xù)變量的參數(shù)時(shí)，RandomizedSearchCV會(huì)將其當(dāng)做一個(gè)分布進(jìn)行采樣進(jìn)行這是網(wǎng)格搜索做不到的，它的搜索能力取決于設(shè)定的n_iter參數(shù)。
RandomizedSearchCV使用說(shuō)明
class?sklearn.model_selection.RandomizedSearchCV(estimator,?param_distributions,?*,?n_iter=10,?scoring=None,?n_jobs=None?,?refit=True,?cv=None,?verbose=0,?pre_dispatch='2*n_jobs',?random_state=None,?error_score=nan,?return_train_score=False)與GridSearchCV不同的主要有以下兩參數(shù)：
param_distributions：參數(shù)分布，字典格式。將我們所傳入模型當(dāng)中的參數(shù)組合為一個(gè)字典。其搜索策略如下：
對(duì)于搜索范圍是distribution的超參數(shù)，根據(jù)給定的distribution隨機(jī)采樣
對(duì)于搜索范圍是list的超參數(shù)，在給定的list中等概率采樣
n_iter：訓(xùn)練300次，數(shù)值越大，獲得的參數(shù)精度越大，但是搜索時(shí)間越長(zhǎng) 使用示例：
自動(dòng)超參數(shù)優(yōu)化方法
貝葉斯優(yōu)化方法（Bayesian Optimization）
貝葉斯優(yōu)化用于機(jī)器學(xué)習(xí)調(diào)參由J. Snoek(2012)提出，主要思想是，給定優(yōu)化的目標(biāo)函數(shù)(廣義的函數(shù)，只需指定輸入和輸出即可，無(wú)需知道內(nèi)部結(jié)構(gòu)以及數(shù)學(xué)性質(zhì))，通過(guò)不斷地添加樣本點(diǎn)來(lái)更新目標(biāo)函數(shù)的后驗(yàn)分布(高斯過(guò)程,直到后驗(yàn)分布基本貼合于真實(shí)分布。簡(jiǎn)單的說(shuō)，就是考慮了上一次參數(shù)的信息，從而更好的調(diào)整當(dāng)前的參數(shù)。
貝葉斯優(yōu)化與常規(guī)的網(wǎng)格搜索或者隨機(jī)搜索的區(qū)別是：
貝葉斯調(diào)參采用高斯過(guò)程，考慮之前的參數(shù)信息，不斷地更新先驗(yàn)；網(wǎng)格搜索未考慮之前的參數(shù)信息
貝葉斯調(diào)參迭代次數(shù)少，速度快；網(wǎng)格搜索速度慢,參數(shù)多時(shí)易導(dǎo)致維度爆炸
貝葉斯調(diào)參針對(duì)非凸問(wèn)題依然穩(wěn)健；網(wǎng)格搜索針對(duì)非凸問(wèn)題易得到局部最優(yōu)
貝葉斯優(yōu)化提供了一個(gè)優(yōu)雅的框架來(lái)盡可能少的步驟中找到全局最小值。
讓我們構(gòu)造一個(gè)函數(shù)c(x)或者一個(gè)接收輸入x的模型，如下圖所示為c(x)的形狀。當(dāng)然，優(yōu)化器并不知道該函數(shù)，稱(chēng)之為“目標(biāo)函數(shù)”。
貝葉斯優(yōu)化通過(guò)代理優(yōu)化的方式來(lái)完成任務(wù)。代理函數(shù)通過(guò)采樣點(diǎn)模擬構(gòu)造（見(jiàn)下圖）。
根據(jù)代理函數(shù)，我們大致可以確定哪些點(diǎn)是可能的最小值。然后再這些點(diǎn)附近做更多的采樣，并隨之更新代理函數(shù)。
每一次迭代，我們都會(huì)繼續(xù)觀(guān)察當(dāng)前的代用函數(shù)，通過(guò)采樣了解更多感興趣的區(qū)域，并更新函數(shù)。需要注意的是，代用函數(shù)在數(shù)學(xué)上的表達(dá)方式將大大降低評(píng)估成本。經(jīng)過(guò)一定的迭代次數(shù)后，我們注定要到達(dá)一個(gè)全局最小值，除非函數(shù)的形狀非常詭異。
讓我們仔細(xì)看看代用函數(shù)，通常用高斯過(guò)程來(lái)表示，它可以被認(rèn)為是擲骰子，返回與給定數(shù)據(jù)點(diǎn)（如sin、log）擬合的函數(shù)，而不是1到6的數(shù)字。這個(gè)過(guò)程會(huì)返回幾個(gè)函數(shù)，這些函數(shù)都附有概率。為什么用高斯過(guò)程，而不是其他的曲線(xiàn)擬合方法來(lái)模擬代用函數(shù)，有一個(gè)很好的理由：它是貝葉斯性質(zhì)的。代用函數(shù)–表示為概率分布，即先驗(yàn)–被更新為 “獲取函數(shù)”。這個(gè)函數(shù)負(fù)責(zé)在勘探和開(kāi)發(fā)的權(quán)衡中提出新的測(cè)試點(diǎn)。
“開(kāi)發(fā)”力求在代用模型預(yù)測(cè)的目標(biāo)好的地方采樣。這就是利用已知的有希望的點(diǎn)。但是，如果我們已經(jīng)對(duì)某一區(qū)域進(jìn)行了足夠的探索，那么不斷地利用已知的信息就不會(huì)有什么收獲。
“探索”力求在不確定性較高的地點(diǎn)進(jìn)行采樣。這就確保了空間的任何主要區(qū)域都不會(huì)未被探索–全局最小值可能恰好就在那里。
一個(gè)鼓勵(lì)過(guò)多的開(kāi)發(fā)和過(guò)少探索的獲取函數(shù)將導(dǎo)致模型只停留在它首先發(fā)現(xiàn)的最小值（通常是局部的–“只去有光的地方”）。一個(gè)鼓勵(lì)相反的獲取函數(shù)將不會(huì)首先停留在一個(gè)最小值，本地或全球。在微妙的平衡中產(chǎn)生良好的結(jié)果。acquisition 函數(shù)，我們將其表示為a(x)，必須同時(shí)考慮開(kāi)發(fā)和探索。常見(jiàn)的獲取函數(shù)包括預(yù)期改進(jìn)和最大改進(jìn)概率，所有這些函數(shù)都是在給定先驗(yàn)信息（高斯過(guò)程）的情況下，衡量特定投入在未來(lái)可能得到回報(bào)的概率。
讓我們把這些東西整合起來(lái)。貝葉斯優(yōu)化可以這樣進(jìn)行。
初始化一個(gè)高斯過(guò)程 “代用函數(shù) “的先驗(yàn)分布。
選擇幾個(gè)數(shù)據(jù)點(diǎn)x，使在當(dāng)前先驗(yàn)分布上運(yùn)行的獲取函數(shù)a(x)最大化。
評(píng)估目標(biāo)成本函數(shù)c(x)中的數(shù)據(jù)點(diǎn)x，得到結(jié)果，y。
用新的數(shù)據(jù)更新高斯過(guò)程先驗(yàn)分布，以產(chǎn)生一個(gè)后驗(yàn)（它將成為下一步的先驗(yàn)）。
重復(fù)步驟2-5進(jìn)行多次迭代。
解釋當(dāng)前的高斯過(guò)程分布（這是非常便宜的），以找到全局最小值。
貝葉斯優(yōu)化就是把概率論的思想放在代入優(yōu)化的思想后面。綜上所述：
代用優(yōu)化利用代用函數(shù)或近似函數(shù)通過(guò)抽樣來(lái)估計(jì)目標(biāo)函數(shù)。
貝葉斯優(yōu)化將代用優(yōu)化置于概率框架中，將代用函數(shù)表示為概率分布，可以根據(jù)新的信息進(jìn)行更新。
獲取函數(shù)用于評(píng)估在當(dāng)前已知的先驗(yàn)條件下，探索空間中某一點(diǎn)會(huì)產(chǎn)生 “好 “收益的概率，平衡探索與開(kāi)發(fā)
主要在目標(biāo)函數(shù)評(píng)估成本很高的時(shí)候使用貝葉斯優(yōu)化，常用于超參數(shù)調(diào)整。
Hyperopt
Hyperopt是一個(gè)強(qiáng)大的Python庫(kù)，用于超參數(shù)優(yōu)化，由jamesbergstra開(kāi)發(fā)。Hyperopt使用貝葉斯優(yōu)化的形式進(jìn)行參數(shù)調(diào)整，允許你為給定模型獲得最佳參數(shù)。它可以在大范圍內(nèi)優(yōu)化具有數(shù)百個(gè)參數(shù)的模型。
Hyperopt包含4個(gè)重要的特性
1、搜索空間
hyperopt有不同的函數(shù)來(lái)指定輸入?yún)?shù)的范圍，這些是隨機(jī)搜索空間。選擇最常用的搜索選項(xiàng)：
choice(label, options)-這可用于分類(lèi)參數(shù)，它返回其中一個(gè)選項(xiàng)，它應(yīng)該是一個(gè)列表或元組。示例:hp.choice(“criterion”,[“gini”,”entropy”,])
randint(label, upper)-可用于整數(shù)參數(shù)，它返回范圍（0，upper）內(nèi)的隨機(jī)整數(shù)。示例：hp.randint(“max_features”,50)
uniform(label, low, high)-它返回一個(gè)介于low和high之間的值。示例：hp.uniform(“max_leaf_nodes”,1,10)
你可以使用的其他選項(xiàng)包括：
normal(label, mu, sigma)-這將返回一個(gè)實(shí)際值，該值服從均值為mu和標(biāo)準(zhǔn)差為sigma的正態(tài)分布
qnormal(label, mu, sigma, q)-返回一個(gè)類(lèi)似round(normal(mu, sigma) / q) * q的值
lognormal(label, mu, sigma)-返回exp(normal(mu, sigma))
qlognormal(label, mu, sigma, q) -返回一個(gè)類(lèi)似round(exp(normal(mu, sigma)) / q) * q的值
2、目標(biāo)函數(shù)
這是一個(gè)最小化函數(shù)，它從搜索空間接收超參數(shù)值作為輸入并返回?fù)p失。這意味著在優(yōu)化過(guò)程中，我們使用選定的超參數(shù)值訓(xùn)練模型并預(yù)測(cè)目標(biāo)特征，然后評(píng)估預(yù)測(cè)誤差并將其返回給優(yōu)化器。優(yōu)化器將決定要檢查哪些值并再次迭代。你將在一個(gè)實(shí)際例子中學(xué)習(xí)如何創(chuàng)建一個(gè)目標(biāo)函數(shù)。
3、fmin
fmin函數(shù)是對(duì)不同的算法集及其超參數(shù)進(jìn)行迭代，然后使目標(biāo)函數(shù)最小化的優(yōu)化函數(shù)。fmin有5個(gè)輸入是：
最小化的目標(biāo)函數(shù)
定義的搜索空間
使用的搜索算法有隨機(jī)搜索、TPE（Tree-Parzen估計(jì)器）和自適應(yīng)TPE。注意：rand.suggest以及hyperopt.tpe.suggest為超參數(shù)空間的順序搜索提供邏輯。
最大評(píng)估數(shù)
trials對(duì)象（可選）
4、試驗(yàn)對(duì)象
Trials對(duì)象用于保存所有超參數(shù)、損失和其他信息，這意味著你可以在運(yùn)行優(yōu)化后訪(fǎng)問(wèn)它們。此外，trials 可以幫助你保存和加載重要信息，然后繼續(xù)優(yōu)化過(guò)程。
Hyperopt的使用
在理解了Hyperopt的重要特性之后，下面將介紹Hyperopt的使用方法。
初始化要搜索的空間
定義目標(biāo)函數(shù)
選擇要使用的搜索算法
運(yùn)行hyperopt函數(shù)
分析測(cè)試對(duì)象中存儲(chǔ)的評(píng)估輸出
algo指定搜索算法，目前支持以下算法：
隨機(jī)搜索(hyperopt.rand.suggest)
模擬退火(hyperopt.anneal.suggest)
TPE算法（tpe.suggest，算法全稱(chēng)為T(mén)ree-structured Parzen Estimator Approach）
除了Hyperopt外，貝葉斯優(yōu)化方法的Python包還有：
https://github.com/optuna/optuna
https://github.com/fmfn/BayesianOptimization
https://github.com/HIPS/Spearmint
遺傳算法（Genetic Algorithms）
遺傳算法試圖將自然選擇機(jī)制應(yīng)用于機(jī)器學(xué)習(xí)環(huán)境。它受到達(dá)爾文自然選擇過(guò)程的啟發(fā)，因此通常也稱(chēng)為進(jìn)化算法。假設(shè)我們創(chuàng)建了具有一些預(yù)定義超參數(shù)的N個(gè)機(jī)器學(xué)習(xí)模型。然后，我們可以計(jì)算每個(gè)模型的準(zhǔn)確性，并決定只保留一半模型（性能最好的模型）。現(xiàn)在，我們可以生成具有與最佳模型相似的超參數(shù)的后代，以便再次獲得N個(gè)模型的種群。在這一點(diǎn)上，我們可以再次計(jì)算每個(gè)模型的準(zhǔn)確性，并在定義的世代中重復(fù)該循環(huán)。這樣，只有最佳模型才能在流程結(jié)束時(shí)生存下來(lái)。
TPOT是一種基于遺傳算法優(yōu)化機(jī)器學(xué)習(xí)管道（pipeline）的Python自動(dòng)機(jī)器學(xué)習(xí)工具。簡(jiǎn)單來(lái)說(shuō)，就是TPOT可以智能地探索數(shù)千個(gè)可能的pipeline，為數(shù)據(jù)集找到最好的pipeline，從而實(shí)現(xiàn)機(jī)器學(xué)習(xí)中最乏味的部分。
更重要地是，一旦TPOT完成搜索，TPOT同時(shí)也提供了Python代碼。通過(guò)這個(gè)代碼，我們可以具體地知道TPOT獲得最優(yōu)性能時(shí)的具體pipeline的內(nèi)容，這對(duì)于后續(xù)修改是十分方便的！
TPOT是在sklearn的基礎(chǔ)之上做的封裝庫(kù)。其主要封裝了sklearn的模型相關(guān)模塊、processesing模塊和feature_selection模塊，所以TPOT的主要功能是集中在使用pipeline的方式完成模型的數(shù)據(jù)預(yù)處理、特征選擇和模型選擇方面。此外，我們還發(fā)現(xiàn)了TPOT已經(jīng)對(duì)xgboost進(jìn)行了支持。
雖然TPOT使用遺傳算法代替了傳統(tǒng)的網(wǎng)格搜索進(jìn)行超參數(shù)選擇，但由于默認(rèn)初始值的隨機(jī)性，在少量的進(jìn)化（迭代）次數(shù)下，TPOT最終選擇的模型往往并不相同。
計(jì)算效率問(wèn)題。作者在代碼中寫(xiě)道：進(jìn)化（迭代）次數(shù)和每一代保留的個(gè)體數(shù)量值越多，最終得模型得分會(huì)越高。但這同樣也會(huì)導(dǎo)致耗時(shí)很長(zhǎng)。如果使用相當(dāng)復(fù)雜的數(shù)據(jù)集或運(yùn)行TPOT短時(shí)間，不同的TPOT運(yùn)行可能會(huì)導(dǎo)致不同的流水線(xiàn)推薦。TPOT的優(yōu)化算法本質(zhì)上是隨機(jī)的，這意味著它使用隨機(jī)性（部分地）來(lái)搜索可能的流水線(xiàn)空間。當(dāng)兩個(gè)TPOT運(yùn)行推薦不同的管道時(shí)，這意味著TPOT運(yùn)行由于時(shí)間不夠而不收斂，或者多個(gè)管道在數(shù)據(jù)集上執(zhí)行的次數(shù)大致相同。這實(shí)際上是一個(gè)優(yōu)于固定網(wǎng)格搜索技術(shù)的優(yōu)點(diǎn)：TPOT是一個(gè)助手，它通過(guò)探索您可能從未考慮過(guò)的流水線(xiàn)配置來(lái)提供解決如何解決特定機(jī)器學(xué)習(xí)問(wèn)題的想法，然后將微調(diào)留給更受約束的參數(shù)調(diào)整技術(shù)，例如網(wǎng)格搜索。
使用TPOT（版本0.9.5）開(kāi)發(fā)模型需要把握以下幾點(diǎn)：
在使用TPOT進(jìn)行建模前需要對(duì)數(shù)據(jù)進(jìn)行必要的清洗和特征工程操作。
TPOT目前只能做有監(jiān)督學(xué)習(xí)。
TPOT目前支持的分類(lèi)器主要有貝葉斯、決策樹(shù)、集成樹(shù)、SVM、KNN、線(xiàn)性模型、xgboost。
TPOT目前支持的回歸器主要有決策樹(shù)、集成樹(shù)、線(xiàn)性模型、xgboost。
TPOT會(huì)對(duì)輸入的數(shù)據(jù)做進(jìn)一步處理操作，例如二值化、聚類(lèi)、降維、標(biāo)準(zhǔn)化、正則化、獨(dú)熱編碼操作等。
根據(jù)模型效果，TPOT會(huì)對(duì)輸入特征做特征選擇操作，包括基于樹(shù)模型、基于方差、基于F-值的百分比。
可以通過(guò)export()方法把訓(xùn)練過(guò)程導(dǎo)出為形式為sklearn pipeline的.py文件
示例代碼：
from?tpot?import?TPOTClassifier from?sklearn.datasets?import?load_iris from?sklearn.model_selection?import?train_test_split iris?=?load_iris() X?=?iris.data y?=?iris.target X_train,?X_test,?y_train,?y_test?=?train_test_split(X,?y,?test_size=0.2) tpot?=?TPOTClassifier(generations=5,?population_size=50,?verbosity=2,?n_jobs=-1) tpot.fit(X_train,?y_train) print(tpot.score(X_test,?y_test))TPOT的主要參數(shù)：
generations – 確定創(chuàng)建子代（新個(gè)體）的迭代次數(shù)
population_size – 創(chuàng)建個(gè)體的初始數(shù)量（這些用于創(chuàng)建后代）
offspring_size – 每一代所需創(chuàng)造的新個(gè)體數(shù)
mutation_rate – 出現(xiàn)屬性值隨機(jī)更改的概率（包括新參數(shù)的方法，在初始群體中可能不可用）
crossover_rate –用于創(chuàng)造后代的個(gè)體所占的百分比
使用這個(gè)迭代過(guò)程，我們選出最佳配置。準(zhǔn)備遺傳算法的結(jié)果一般取決于初始狀態(tài)。因此，它隨機(jī)產(chǎn)生的初始種群影響輸出，重新運(yùn)行相同的設(shè)置可能會(huì)輸出不同的結(jié)果。
往期精彩回顧適合初學(xué)者入門(mén)人工智能的路線(xiàn)及資料下載中國(guó)大學(xué)慕課《機(jī)器學(xué)習(xí)》（黃海廣主講）機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線(xiàn)手冊(cè)深度學(xué)習(xí)筆記專(zhuān)輯《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專(zhuān)輯 AI基礎(chǔ)下載本站qq群955171419，加入微信群請(qǐng)掃碼：總結(jié)
以上是生活随笔為你收集整理的【机器学习】算法模型自动超参数优化方法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： Windows平台RTMP|RTSP播放
- 下一篇： 【数据分析】Python数据分析学习路线