什么是Grid Search 網(wǎng)格搜索？

網(wǎng)格搜素是一種常用的調(diào)參手段，是一種窮舉方法。給定一系列超參，然后再所有超參組合中窮舉遍歷，從所有組合中選出最優(yōu)的一組超參數(shù)，其實(shí)就是暴力方法在全部解中找最優(yōu)解。

為什么叫網(wǎng)格搜索，因?yàn)榧僭O(shè)有兩個(gè)超參，每個(gè)超參都有一組候選參數(shù)。這兩組候選參數(shù)可以兩兩組合，把所有組合列出來(lái)就是一個(gè)二維的網(wǎng)格（多個(gè)超參兩兩組合可以看作是崗高維空間的網(wǎng)格），遍歷網(wǎng)格中的所有節(jié)點(diǎn)，選出最優(yōu)解。所以叫網(wǎng)格搜索。

存在的問(wèn)題

使用網(wǎng)格搜索會(huì)導(dǎo)致，測(cè)試集上的表現(xiàn)效果比真實(shí)情況要好一些，因?yàn)闇y(cè)試集是用來(lái)對(duì)參數(shù)進(jìn)行調(diào)整，參數(shù)會(huì)最終被調(diào)整為在測(cè)試集上表現(xiàn)效果最優(yōu)的情況，而測(cè)試集樣本量小，真實(shí)情況的樣本量應(yīng)該會(huì)遠(yuǎn)大于測(cè)試集的情況，所以測(cè)試集的樣本數(shù)據(jù)分布情況與真實(shí)的樣本數(shù)據(jù)分布情況有所偏差。

解決辦法

對(duì)數(shù)據(jù)集多一次劃分，模擬真實(shí)數(shù)據(jù)集的情況。將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集。訓(xùn)練集是用于模型訓(xùn)練，驗(yàn)證集用于模型調(diào)參，測(cè)試集用于衡量調(diào)參后模型的好壞。這里有個(gè)疑問(wèn)，如果驗(yàn)證集劃分的太小，那么驗(yàn)證集對(duì)整體數(shù)據(jù)集的表現(xiàn)越弱，越具有偶然性，那么調(diào)參的結(jié)果可能對(duì)于整體數(shù)據(jù)集更差。這里可以引入交叉驗(yàn)證的方法減少偶然性。

使用場(chǎng)景

網(wǎng)格搜索可以使用在機(jī)器學(xué)習(xí)算法調(diào)參中，而很少使用在深度神經(jīng)網(wǎng)絡(luò)的調(diào)參中。因?yàn)榫W(wǎng)絡(luò)搜索其實(shí)并沒(méi)有什么特別的優(yōu)化方法，就是簡(jiǎn)單的窮舉。這種方法不使用網(wǎng)格搜索手動(dòng)去窮舉也是可以實(shí)現(xiàn)的，只不過(guò)網(wǎng)格搜索自動(dòng)化一些，不需要手工的去一個(gè)一個(gè)嘗試參數(shù)。本質(zhì)就是把所有參數(shù)的可能都運(yùn)行了一遍，對(duì)于深度神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，運(yùn)行一遍需要很長(zhǎng)時(shí)間，窮舉的去調(diào)參，效率太低，更何況隨著超參數(shù)數(shù)量的增加，超參組合呈幾何增長(zhǎng)。而對(duì)于機(jī)器學(xué)習(xí)的算法來(lái)說(shuō)，運(yùn)行時(shí)間相對(duì)較短，甚至對(duì)于樸素貝葉斯這種算法不需要去多次迭代所有樣本，訓(xùn)練時(shí)間很快，可以使用網(wǎng)格搜索來(lái)調(diào)參。

總結(jié)

以上是生活随笔為你收集整理的Grid Search 网格搜索 介绍的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。