高斯分布模型

我們已經(jīng)知道，異常檢測(cè)的核心就在于找到一個(gè)概率模型，幫助我們知道一個(gè)樣本落入正常樣本中的概率，從而幫助我們區(qū)分正常和異常樣本。 高斯分布（Gaussian Distribution） 模型就是異常檢測(cè)算法最常使用的概率分布模型。

定義

我們稱 $X～N(\mu ,{\delta }^2)$ 為： $X$ 服從均值為 $\mu$ ，方差為 ${\delta }^2$ 的高斯分布（也稱正態(tài)分布）。高斯分布的概率密度函數(shù)為：
$$f(x)=\frac{1}{\sqrt{2\pi }\delta }{e}^{?\frac{(x?\mu {)}^2}{2}}$$

概率密度函數(shù)的圖像為：

此時(shí)，概率模型可以描述為：
$$p(x;\mu ,{\delta }^2)=\frac{1}{\sqrt{2\pi }\delta }{e}^{?\frac{(x?\mu {)}^2}{2}}$$

參數(shù)

均值 $\mu$ 決定了高斯分布概率密度函數(shù)的對(duì)稱軸位置，方差 $\delta$ 衡量了各樣本與平均位置的差異，決定了概率密度函數(shù)的寬窄。 ${\delta }^2$ 越大，各個(gè)樣本的差異越大（各個(gè)樣本偏離均值位置很遠(yuǎn)），即樣本取 $\mu$ 附近位置的概率越低，亦即，概率 $P(\mu ??<x<\mu +?)$ 很小，此時(shí)，概率密度函數(shù)很寬。下圖展示了幾組不同參數(shù)取值下的高斯分布的概率密度函數(shù)：

參數(shù)估計(jì)

假定特征 $x_j$ 分布如下：

我們發(fā)現(xiàn)，該分布中間稠密，越向兩邊越稀疏，我們就認(rèn)為數(shù)據(jù)服從高斯分布，即：
$$x_j～N(\mu ,{\delta }^2)$$

但我們不知道該分布的 ${\mu }_j$ 和 ${\delta }_j$ 參數(shù)，但如果學(xué)過(guò)概率論，我們知道，可以根據(jù)這有限個(gè)樣本進(jìn)行參數(shù)估計(jì)：
$${\mu }_j=\frac{1}{m}\sum _{i=1}^m{x}_j^{(i)}$$$${\delta }_j^2=\frac{1}{m}\sum _{i=1}^m(x_j^{(i)}?{\mu }_j{)}^2$$

這里對(duì)參數(shù) $\mu$ 和參數(shù) ${\delta }^2$ 的估計(jì)就是二者的極大似然估計(jì)。

假定我們有數(shù)據(jù)集：
$$x^{(1)},x^{(2)},?,x^{(m)},x\in {\mathbb{R}}^n$$

并且，各個(gè)特征服從于高斯分布：
$$x_j～N(\mu ,{\delta }^2)$$

我們完成了對(duì)于各個(gè)特征服從分布的參數(shù)估計(jì)后，可以得到：
$$p(x)=p(x_1;{\mu }_1,{\delta }_1^2)p(x_2;{\mu }_2,{\delta }_2^2)?p(x_n;{\mu }_n,{\delta }_n^2)$$$$=\prod _{j=1}^{n}p(x_j;{\mu }_j,{\delta }_j^2)$$$$=\prod _{j=1}^n\frac{1}{\sqrt{2\pi }{\delta }_j}exp(?\frac{(x_j?{\mu }_j{)}^2}{2{\delta }_j^2})$$

總結(jié)

以上是生活随笔為你收集整理的8.2 高斯分布模型-机器学习笔记-斯坦福吴恩达教授的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。