統計學習II.7 廣義線性模型1 指數分布族

• 指數分布族的定義
• • 指數分布族的例子
  • • Bernoulli分布
    • Multinoulli分布
  • 指數分布族的性質
• 指數分布族的MLE
• 指數分布族的貝葉斯方法

---

這一部分介紹廣義線性模型，這是一類監督學習方法，通常用來構造分類器等。考慮$\{(X_i,Y_i){\}}_{i=1}^N$，廣義線性模型通常假設$Y_i$服從某種指數分布族。因此這一部分先介紹指數分布族，然后介紹基于不同指數分布族導出的廣義線性模型的不同效果。

---

指數分布族的定義

用$p(x|\theta )$表示某個密度函數，稱它是指數分布族(exponential family)如果：
$$p(x|\theta )=h(x)\exp ({\theta }^T?(x)?A(\theta ))$$

根據密度函數的歸一性，
$$\begin{gathered} \int p(x|\theta )dx=\int h(x)\exp ({\theta }^T?(x)?A(\theta ))dx \\ =\exp (?A(\theta ))\int h(x)\exp ({\theta }^T?(x))dx=1 \end{gathered}$$

于是

$$A(\theta )=\log Z(\theta ),Z(\theta )=\int h(x)\exp ({\theta }^T?(x))dx$$

其中$\theta$被稱為natural parameter，$?(X)$是這個指數族的充分統計量（基于Fisher-Neyman定理），$Z(\theta )$是partition function，$A(\theta )$是cumulant function，如果$?(X)=X$，稱這樣的指數族為自然指數族(natural exponential family)。

指數分布的另一種形式為
$$p(x|\theta )=h(x)\exp (\eta (\theta {)}^T?(x)?A(\eta (\theta )))$$如果$\dim (\theta )<\dim (\eta (\theta ))$，稱之為curved exponential family，此時充分統計量的數目比參數多；如果$\dim (\theta )=\dim (\eta (\theta ))$，稱之為canonical form；

指數分布族的例子

Bernoulli分布

$$p(x|\mu )={\mu }^x(1?\mu {)}^{1?x}=\exp (?(x{)}^T\theta )$$

其中
$$?(x)=[1_{x=0},1_{x=1}{]}^T,\theta =[\log (\mu ),\log (1?\mu ){]}^T$$

這并不是一個好的表示，因為$x\in \{0,1\}$，$1^T?(x)=1$，也就是說$?(x)$的兩個分量是線性相關的，這會導致在估計的時候$\theta$只有一個方程。一種更好的表示方法是
$$p(x|\mu )=(1?\mu )\exp \left[x\log \left(\frac{\mu }{1?\mu }\right)\right]=\exp (?(x{)}^T\theta )=\exp (?(x{)}^T\theta )$$

其中
$$?(x)=x,\theta =\log \left(\frac{\mu }{1?\mu }\right)$$

稱$\theta$為log-odds ratio；從natural parameter還原為$\mu$的函數是sigmoid函數
$$\mu =sigm(\theta )=\frac{1}{1+e^{?\theta }}$$

Multinoulli分布

$$p(x|{\mu }_1,?,{\mu }_K)=\prod _{k=1}^K{\mu }_k^{x_k}=\exp \left[\sum _{k=1}^{K?1}{x}_k\log \left(\frac{{\mu }_k}{{\mu }_K}\right)+\log {\mu }_K\right]$$

其中
$$\sum _{k=1}^K{\mu }_k=1$$

于是
$$p(x|\theta )=h(x)\exp ({\theta }^T?(x)?A(\theta ))$$其中
$$\begin{gathered} \theta =[\log \frac{{\mu }_1}{{\mu }_K},?,\log \frac{{\mu }_{K?1}}{{\mu }_K}{]}^T,?(x)=[1_{x=1},?,1_{x=K?1}{]}^T \\ A(\theta )=\log \left(1+\sum _{k=1}^{K?1}{e}^{{\theta }_k}\right) \end{gathered}$$

從natural parameter還原到$\mu$的方法為
$$?\begin{array}{l}{\mu }_k=\frac{e^{{\theta }_k}}{1+{\sum }_{j=1}^{K?1}{e}^{{\theta }_j}},k=1,?,K?1\\ {\mu }_K=\frac{1}{{\sum }_{j=1}^{K?1}}{e}^{{\theta }_j}\end{array}$$

指數分布族的性質

性質1
$$\frac{dA}{d\theta }=E[?(X)]$$

直接計算這個導數即可，下面的兩個性質也都是直接計算導數
$$\frac{dA}{d\theta }=\frac{d}{d\theta }\log \int h(x)\exp ({\theta }^T?(x))dx=\int ?(x)p(x|\theta )dx$$

性質2
$$\frac{d^{2}A}{d{\theta }^2}=Var[?(X)]$$

性質3
$${?}^{2}A(\theta )=Cov(?(X))$$

指數分布族的MLE

指數分布族MLE的moment matching equation
假設$X_1,?,X_N{～}_{iid}p(x|\theta )$, 似然函數為
$$L(\theta |X_1,?,X_N)=\left[\prod _{i=1}^{N}h(X_i)\right]\exp \left({\theta }^T\sum _{i=1}^N?(X_i)?NA(\theta )\right)$$

對數似然為
$$\log L(\theta |X_1,?,X_N)=\log \left[\prod _{i=1}^{N}h(X_i)\right]+{\theta }^T\sum _{i=1}^N?(X_i)?NA(\theta )$$

考慮MLE滿足的方程
$$?\log L(\theta |X_1,?,X_N)=\sum _{i=1}^N?(X_i)?N?A(\theta )=\sum _{i=1}^N?(X_i)?NE[?(X)]=0$$

也就是
$$E[?(X)]=\frac{1}{N}\sum _{i=1}^N?(X_i)$$

這里$?(X)$是指數分布的充分統計量，稱這個方程為moment matching equation，它的含義是充分統計量的樣本均值等于理論均值。

指數分布族的貝葉斯方法

指數分布族是一個共軛分布族
我們把似然函數寫成下面的形式：
$$L(\theta |X_1,?,X_N)\propto g(\theta {)}^N{e}^{\eta (\theta {)}^T{s}_N},s_N=\sum _{i=1}^{N}s(X_i)$$

引入指數函數族先驗，
$$p(\theta |n{u}_0,{\tau }_0)\propto g(\theta {)}^{{\nu }_0}{e}^{\eta (\theta {)}^T{\tau }_0}$$

則后驗為
$$p(\theta |{\nu }_0+N,{\tau }_0+s_N)\propto g(\theta {)}^{{\nu }_0+N}{e}^{\eta (\theta {)}^T({\tau }_0+s_N)}$$

總結

以上是生活随笔為你收集整理的统计学习II.7 广义线性模型1 指数分布族的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。