MLE(maximum likelihood estimation最大似然估計)：
之前用于訓練HMM參數(A和B矩陣)所用的Baum-Welch算法和嵌入式訓練時基于最大化訓練數據的似然度的。MLE的替代方案是不再將最佳模型和數據相匹配，而是從其他模型中區分出最佳模型。鑒別性訓練包括MMIE(最大互信息估計準則，Woodland and Povey, 2002)使用NN/SVM分類器，MCE(最小分類錯誤準則，Chou et al., 1993;McDermott and Hazen, 2004)，MBR(最小貝葉斯風險估計準則，Doumpiotis et al., 2003a)。

Maximum Mutual Information Estimation(最大互信息估計)

MMIE準則原理：
在O給定的情況下，描述對W的平均不確定性的度量是條件熵H(W|O)，寫作：
$$H(W|O)=?\sum _{W,O}p(W,O)logp(W|O)=?E[logp(W|O)]$$
目標是降低這個不確定度。在實際語音識別聲學建模過程中，通常使用一個參數化的模型/\來近似求的真實后驗概率P(W|O).
$H_{\wedge }(W|O)=?E[\log p_{\wedge }(W|O)]$
最小化$H_{\wedge }(W|O)$的過程就是最大化互信息$I_{\wedge }(W;O)$的過程，這種情況下的MMI準則實質上等價于條件最大似然準則(Conditional Maiximum Likelihood)

總結

以上是生活随笔為你收集整理的discriminative training鉴别性训练的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。