最優值是高方差和平均值是比較高的（前提是優化函數為最大值），如圖所示：

?黑色實線是平均值；虛線為目標函數真實值，黑點為已經抽樣的點包括x與y；紅色的點是新選擇的x；

新選擇的x是要考慮高方差與高預測值的，而不僅僅是高預測值；當時我不理解獲得函數曲線為什么沒有與實線同步（即只考慮預測值）

本質上有兩個數學要點，一個是隨機過程/高斯過程；二是貝葉斯概率；

高斯過程主要是針對每個超參數組的預測結果進行建模，每個超參數組的預測結果是一個隨機變量（這里假設為高斯分布），是一個不確定性值，多個超參數組就對應多個隨機變量，即隨機過程/高斯過程；在初始狀態時，不清楚均值與方差；在抽樣幾個點后，就會大致確定附近的參數點的高斯分布情況，點越多，就越逼近真實函數，如上圖所示；這樣的情況下，就可以在不用訓練的情況下，就選定一個很大概率獲得最優值的超參數組；大大節約了時間；

?

1、為什么貝葉斯優化有用呢？

如果沒有操作，給你一個超參數組，你怎么能知道它大概的結果；或者給定一個超參數區間，如何知道最優值會在哪一點上；有了貝葉斯優化，就可以很好的進行判斷；雖然不能很準確，但可以判斷出個大概；

2、和平常的建模有什么區別呢？

平常的建模會是一種參數模型，一個x，對應一個確定性的值；但這里的思路完全不同，這里是為了對預測值的區間進行預估。給出一個大概的判斷，是一種非參數模型；不用管真實函數是怎么樣的，都可以用來作判斷，可以說是包羅萬象；

3、高斯過程另樣的理解方式？

比如說存在一個高斯分布函數，你即將從里面抽樣10次，那么很簡單，每次抽樣的結果都會是一個高斯分布，10個變量成為了多元高斯分布，這里的變量就是y的輸出值，對多個y進行建模，建立 高斯過程；如圖所示；感覺就是承認不確定性

4、聯合分布的公式是怎樣的？

5、高斯過程有哪些參數？

? ? 均值與協方差；

?

?

?

總結

以上是生活随笔為你收集整理的贝叶斯优化的初步理解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。