RBM/DBN训练中的explaining away概念
可以參照
Stanford大神DaphneKoller的概率圖模型，里面貝葉斯網絡一節(jié)講到了explaining away。我看過之后試著談談自己的理解。
explainingaway指的是這樣一種情況：對于一個多因一果的問題，假設各種“因”之間都是相互獨立的，如果已經確定了是因為其中一種原因導致了結果，那么因為其他原因導致了該結果的概率就會下降。
單純看定義似乎很令人費解，因為原因之間應該是相互獨立的，怎么會相互影響呢？舉個最簡單的例子就可以回答這個問題。
考慮三個隨機變量ABC，其中C=A | B，AB相互獨立。如果寫出它們的概率分布就是這樣的：
可以看出，只要A與B中的任意一個為1就會導致C為1,這正是一個最簡單的多因一果問題。
假設我們觀察到C = 1，但不知道是哪種原因導致的，那么根據(jù)上面的聯(lián)合概率分布可以推斷，P( A = 1 | C = 1 ) =P( B = 1 | C = 1 ) = 2/3。而且P( B = 1 | C = 1 )?> P( B = 1)，即因為觀察到了“果”，出現(xiàn)“因”的概率比平常更大，這是符合我們經驗的。
但是，如果我們已經確認了A = 1，那么此時不論B取值為多少都會有C=1，即P( B = 1 | C = 1, A = 1 )= 1/2 = P( B = 1 ) < P( B = 1 | C = 1 )。B的取值再一次變得完全無法判斷（對比上面，B取值為1的概率減小了），這就是explaining away。
在現(xiàn)實生活中也可以找到這樣的例子：假設房子倒塌的可能性包括地震和恐怖襲擊，如果我們發(fā)現(xiàn)房子倒了，那么很有可能發(fā)生了兩者中的一個，但如果我們知道是恐怖分子用飛機撞倒的，那么我們就無法判斷是不是發(fā)生了地震。這時地震的概率就從“很可能”變回了“有可能”，概率降低了，這就是explainingaway。
【轉自：】http://blog.csdn.net/huangbo10/article/details/23091083
創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎
總結
以上是生活随笔為你收集整理的RBM/DBN训练中的explaining away概念的全部內容，希望文章能夠幫你解決所遇到的問題。
