文章目錄

• 前序
• 1 決策理論與方法
• • 1.1 基于先驗概率的決策過程
  • 1.2 基于貝葉斯公式的決策過程
  • 1.3 決策錯誤率
• 2 貝葉斯決策的優化
• • 2.1 最小錯誤率貝葉斯決策
  • • 2.1.1 二分類問題的決策錯誤率
    • 2.1.2 二分類問題的決策面
  • 2.2 最小風險貝葉斯決策
  • • 2.2.1 決策風險及其計算
    • 2.2.2 最小風險貝葉斯決策向最小錯誤率決策的轉化
• 3 兩類錯誤率
• • 3.1 正確分類的指標
  • 3.2 錯誤分類的指標
  • 3.3 ROC曲線

---

前序

[數理知識]貝葉斯公式和最大似然估計筆記

---

1 決策理論與方法

1.1 基于先驗概率的決策過程

記 $x$ 為觀察到的樣本特征，分類空間為$A=\{a_1,a_2...,a_n\}$，其中$a_i$為第$i$個類，$P(a_i)$為類$a_i$的發生概率。

• $x=[x_1,x_2,...,x_d{]}^T$為由$d$維空間組成的特征向量。
• 當 $P(a_j)>P(a_{others})$時，記決策規則$x\in a_j$。
• 當做出決策$x\in a_j$之后，單類分類錯誤率$P({error}_j)=1?P(a_j)$，即 $x\in /a_j$的概率。

可以看到，一般決策過程僅依靠先驗概率$P(a_j)$，使得對 $x$ 的觀察(特征參考)并沒有對決策過程產生影響，總體錯誤率仍有降低的空間。

1.2 基于貝葉斯公式的決策過程

貝葉斯決策：在觀察到$x$ 的樣本特征后，基于貝葉斯公式，可以有效降低分類錯誤率：
$$\begin{array}{rl}P(a_i|x)& =\frac{p(x|a_i)P(a_i)}{p(x)}\\ & =\frac{p(x|a_i)P(a_i)}{{\sum }_{j=1}^{n}p(x|a_j)P(a_j)}\end{array}$$其中, $p(x|a_i)$是類條件密度，$P(a_i)$是先驗概率，$p(x)$是總體密度，$P(a_i|x)$是后驗概率；

• 因此在本質上，貝葉斯決策是指：[后驗概率]等于[先驗概率]與[類條件密度]的乘積，最后采用[總體密度]做歸一化。同時，[總體密度]由全概率公式又可以轉化為所有類的[先驗概率]與其[類概率密度]乘積之和。

貝葉斯決策也被稱作統計決策理論。

• 記$\lambda =\frac{p(x|a_i)}{p(x)}$ ，所以基于貝葉斯決策的決策的錯誤率：
  $$\begin{array}{rl}P({error}_i)& =1?P(a_i|x)\\ & =1?\lambda \times P(a_i)\end{array}$$

貝葉斯分類決策增益 $\lambda$ 是對先驗概率$P(a_i)$的增益，是基于對$x$的觀測而得到的,其值等于類條件概率在總體密度上的歸一值，增益程度取決于類條件概率 $p(x|a_i)$——當$a_i$越容易導致$x$的發生時(類條件概率越大)，則增益程度越高($\lambda$越大)，第$i$類的分類錯誤率越低。

1.3 決策錯誤率

(總體)決策錯誤率定義為所有服從同樣分布的獨立樣本上的單類錯誤率的期望，即：
$$P(e)=\int P(e|x)\times p(x)dx$$

• 其中，$P(e|x)$即為單類分類錯誤率$P({error}_i)$在連續函數上的表示法。
• 顯然，貝葉斯決策由于增益$\lambda$的存在，能有效降低決策錯誤率。

---

2 貝葉斯決策的優化

2.1 最小錯誤率貝葉斯決策

對于每次決策，取后驗概率最大的決策，即可使得決策錯誤率最小。
$$P(a_i|x)=\underset{j=1..n}{\max }P(a_j|x)$$

2.1.1 二分類問題的決策錯誤率

針對二分類問題，由于總體概率密度$p(x)$相同，有以下變體：
$$l(x)=\frac{p(x|a_1)}{p(x|a_2)}?\lambda =\frac{P(a_2)}{P_{(}{a}_1)}，x\in \{\begin{array}{l}{a}_1\\ a_2\end{array}$$
當$l(x)$大于閾值$\lambda$時，分為第一類，否則為第二類。(注意：此處的$\lambda$與上文的"增益"概念不同)

$$m?n,x\in \{\begin{array}{l}{a}_1\\ a_2\end{array}$$Tips: 上式可用偽代碼表示為：$x=m>n？a_1:a_2$

2.1.2 二分類問題的決策面

當$l(x)=\lambda$，即后驗概率$P(a_1|x)=P(a_2|x)$時，使得樣本 $x$ 落在分界線左側($l(x)>\lambda$)時分為第一類，否則為第二類；該分界線被稱為決策面或分類面。

• 記$?(\infty ,t)$為${?}_1$，$(t,\infty )$為${?}_2$；$t$為分類面對$x$的劃分值。

則二分類問題中的平均錯誤率為：
$$\begin{array}{rl}P(e)& ={\int }_{?\infty }^{t}P(a_2|x)p(x)dx+{\int }_t^{\infty }P(a_1|x)p(x)dx\\ & ={\int }_{?\infty }^{t}p(x|a_2)P(a_2)dx+{\int }_t^{\infty }p(x|a_1)P(a_1)dx\\ & ={\int }_{{?}_1}p(x|a_2)P(a_2)dx+{\int }_{{?}_2}p(x|a_1)P(a_1)dx\\ & =P(a_2){\int }_{{?}_1}p(x|a_2)dx+P(a_1){\int }_{{?}_2}p(x|a_1)dx\\ & =P(a_2)P_2(e)+P(a_1)P_1(e)\end{array}$$

• 注意到，$P_1(e)={\int }_{{?}_2}p(x|a_1)dx$，是把第一類的$x$決策為第二類的錯誤率；反之亦然。
• 兩類錯誤率對相應類別的先驗概率求取加權和即為二分類問題中的分類錯誤率。

2.2 最小風險貝葉斯決策

記$\lambda ({\beta }_i,a_j)$是指對實際為$a_j$的樣本$x$采取決策${\beta }_i$所帶來的風險(損失)。

• 注意到：$\lambda ({\beta }_i,a_j)$，當$i=j$時，分類正確；$i=?j$時，為把屬于$i$類分為第$j$類的損失。

2.2.1 決策風險及其計算

若有 $n$ 個類和 $k$ 個決策，則損失是：
$$R({\beta }_i|x)=\sum _{j=1}^n\lambda ({\beta }_i,a_j)P(a_j|x),i=1,...k$$對于決策規則$\beta (x)=\sum {\beta }_{\Delta }$，其損失的總體期望為：
$$R(\beta )=\int R({\beta }_{\Delta }|x)p(x)dx$$

對于一個實際問題，求取最小風險貝葉斯決策可以按照以下步驟求取：

由貝葉斯公式計算后驗概率：
$$P(a_i|x)=\frac{p(x|a_i)P(a_i)}{{\sum }_{j=1}^{n}p(x|a_j)P(a_j)},i=1,2,...,n$$

計算條件風險：
$$R({\beta }_i|x)=\sum _{j=1}^n\lambda ({\beta }_i,a_j)P(a_j|x),i=1,...k$$

優化目標：
$${\beta }^{?}=arg\underset{i=1,...,k}{\min }R({\beta }_i|x)$$

2.2.2 最小風險貝葉斯決策向最小錯誤率決策的轉化

考慮二分類問題，簡記${\lambda }_{ij}=\lambda ({\beta }_i,a_j)$：
$${\lambda }_{11}P(a_1|x)+{\lambda }_{12}P(a_2|x)?{\lambda }_{21}P(a_1|x)+{\lambda }_{22}P(a_2|x),x\in \{\begin{array}{l}{a}_1\\ a_2\end{array}??????①$$

• 注意到：${\lambda }_{ij}$當$i=j$時，分類正確；$i=?j$時，為把屬于$i$類分為第$j$類的損失。

注意：此處的 $?$ 與上文中的 $?$ 正好相反。

不失一般性，可以假設${\lambda }_{11}<{\lambda }_{21}$，${\lambda }_{22}<{\lambda }_{12}$。
則①式可化為：
$$\begin{array}{rl}({\lambda }_{11}?{\lambda }_{21})P(a_1|x)& ?({\lambda }_{22}?{\lambda }_{12})P(a_2|x),x\in \{\begin{array}{l}{a}_1\\ a_2\end{array}??????②\\ \frac{P(a_2|x)}{P(a_1|x)}& ?\frac{({\lambda }_{21}?{\lambda }_{11})}{({\lambda }_{12}?{\lambda }_{22})},x\in \{\begin{array}{l}{a}_1\\ a_2\end{array}\\ \frac{p(x|a_2)P(a_2)}{p(x|a_1)P(a_1)}=\frac{P(a_2|x)p(x)}{P(a_1|x)p(x)}& ?\frac{({\lambda }_{21}?{\lambda }_{11})}{({\lambda }_{12}?{\lambda }_{22})},x\in \{\begin{array}{l}{a}_1\\ a_2\end{array}\\ l(x{)}^{?1}=\frac{p(x|a_2)}{p(x|a_1)}& ?{\lambda }^{?1}=\frac{P(a_1)}{P(a_2)}\times \frac{({\lambda }_{21}?{\lambda }_{11})}{({\lambda }_{12}?{\lambda }_{22})},x\in \{\begin{array}{l}{a}_1\\ a_2\end{array}\\ l(x)=\frac{p(x|a_1)}{p(x|a_2)}& ?\lambda =\frac{P(a_2)}{P(a_1)}\times \frac{({\lambda }_{12}?{\lambda }_{22})}{({\lambda }_{21}?{\lambda }_{11})},x\in \{\begin{array}{l}{a}_1\\ a_2\end{array}\end{array}$$

• 當 ${\lambda }_{11}={\lambda }_{22}=0$，${\lambda }_{12}={\lambda }_{21}=c$ ($c$為正常數)時，就是最小錯誤率貝葉斯分類決策。即分類正確時無風險，分類錯誤時風險一致。

注意：此處的 $?$ 與上文中的 $?$ 的方向，后者意為 $x=m>n?a_1:a_2$ 。

---

3 兩類錯誤率

在二分類問題中，有以下決策分布表：

決策已知 陽性陰性正類負類分界線

決策分布表
(真陽)TP	(假陰)FN
(假陽)FP	(真陰)TN
P(陽性)和N(陰性)之間的線即為分界線；P高則N少，反之亦然。

3.1 正確分類的指標

• 靈敏度(命中率，sensitivity) = 真陽除以所有正類:
  $$S_n=\frac{TP}{TP+FN}???TPR$$
• 特異度(敏感率，specificity) = 真陰除以所有負類:
  $$S_p=\frac{TN}{TN+FP}???TNR$$

很容易注意到：

• $S_n$表示真正的陽性樣本(正類)中有多少能被正確檢測出來；靈敏度高指的是能夠正確分辨多少目標個體。
• $S_n$表示真正的陰性樣本(負類)中有多少能被正確檢測出來；特異度高指的是不易把非目標個體選中。
• 顯然，鑒于二分類器的特性，二者不可能同時取得高值(若分類器認為的P的個體數多，則N的個體數必然變少)。

3.2 錯誤分類的指標

• 第一類分類誤差(假陽性，假報率，False Alarm，$Type?Ⅰ$ $Error$) = 假陽除以所有負類：
  $$\begin{array}{rl}\alpha & =1?S_p\\ & =\frac{FP}{TN+FP}\end{array}???FPR$$
• 第二類分類誤差(假陰性，漏檢率，Missed Detection，$Type?Ⅱ$ $Error$) = 假陰除以所有正類：
  $$\begin{array}{rl}\beta & =1?S_n\\ & =\frac{FN}{TP+FN}\end{array}???FNR$$

很容易注意到：

• $\alpha$表示非目標樣本中有多少會被錯誤地挑選出來。
• $\beta$表示目標樣本中有多少會被漏檢。
• 第一類錯誤概率與第二類正確概率之和顯然為1(不是第一類就是第二類)，這也是$\alpha =1?S_p$的由來；反之亦然。
• 顯然，鑒于二分類器的特性，二者不可能同時取得低值(若分類器認為的P的個體數多，則N的個體數必然變少)。

3.3 ROC曲線

對于二分類任務，無法同時滿足正確分類的兩個指標同時達到較好的值，因此，引入ROC曲線作為衡量指標：

ROC曲線：

• 以第一類正確率(真陽性，靈敏度, sensitivity，TPR)為$y$軸；
• 以第一類分類誤差(假陽性，假報率，False Alarm，$Type?Ⅰ$ $Error$，FPR)為$x$軸；

在理解上，可以這么理解——在$x$盡量小的情況下，取得較高的$y$值，是描繪ROC曲線的目標；即第一類分類時誤差小、正確率高。

注意到：第一類分類誤差實際上就是$1?S_p$，有的文獻則以(1-特異度)為$x$軸作為介紹，但并不直觀。

• 這是標準ROC曲線，若將$x$軸取為$S_p$即第二類分類正確率(真陰性，特異度，TNR)，則意味著需要在曲線中找到一點，滿足一類和二類分類性能同時較高，并反向得出此時的閾值。

關于ROC曲線，可以參考>數據挖掘-分類器的ROC曲線及相關指標（ROC、AUC、ACC）詳解<

總結

以上是生活随笔為你收集整理的[数理知识]统计决策理论——贝叶斯决策与两类错误率的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。