對Bayesian一類的東西，除了 NB、AODE等少數(shù)幾個接近 discriminative 的，我都不是很感冒。并不是看不上那些技法，有時其實還是相當欣賞那些精巧的設計。不感冒的原因，主要是覺得里面的唯心味道太重了。生長在新中國紅旗下， 自認為是唯物論者，對唯心的東西有一種心理上的天然抵觸。
唯心不能怪老貝，他做Bayes公式本來就是為了證明上帝的存在，沒有唯心味道反倒怪了。Prior 的選取，如果是針對具體應用，倒也沒什么，根據(jù) domain knowledge 設計 prior 本來是 incorporate domain knowledge 的有效途徑，是好事不是壞事。問題是，好多 Bayesian fans 都標榜自己做得多基礎，根本就不 care 具體應用領域，或許其實本身就對應用沒感覺（應用要做得好，一定要對應用有“感覺”）。普適的 prior 本不存在，不考慮具體 domain 就只能形而上地去折騰，然后挑幾個數(shù)據(jù)發(fā)發(fā)文章，實際可能一點用沒有。或許一些人本來的目的就是為了發(fā)文章而不是解決問題。
如果最終目標是預測，我總覺得，就算數(shù)據(jù)真是由某個 generative model 生成的，能夠?qū)е路诸愋阅芎玫?model 也未必一定是那個 ground-truth model。就好象 manifold 一樣，把 ground-truth manifold 扭曲一點說不定分類更好做，05年的那個TSMCB文章就想說這件事。
其實 Bayesian fans 自己也知道要改良。固定參數(shù)不好，就整個 Chinese Restaurant Process 搞非參。假設 Gaussian 太隨意，就來個 dirichlet 考慮分布的分布。“分布的分布”還覺得味道不好，就再整個 hierarchical dirichlet 玩“分布的分布的分布”。要我說，你怎么知道該加幾層啊？說不定要“分布的分布的分布的分布”？遇到 MJ 問他，說還沒想到怎么辦。我覺得大可以在分布方向上再開個 Restaurant，計算問題似乎也不大，應該可以 marginalize。一般數(shù)據(jù)上大概顯不出好處來，找?guī)讉€很復雜的數(shù)據(jù) show 一把發(fā)個 NIPS 估計是可以的，因為這玩意兒很合 NIPS 的口味。不過我自己實在沒興趣做。有誰想玩玩可以跟我說一聲。
把 discrimitive 的東西放進去，唯心成分應該會小一些。沒和 EX 聊過這個問題，看他這兩年走的路子，有可能是所見略同。

總結(jié)

以上是生活随笔為你收集整理的周志华眼中的贝叶斯方法（转）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。