UA MATH567 高維統計II 隨機向量5 亞高斯隨機向量

這一講我們將亞高斯分布推廣到高維。

亞高斯隨機向量 $X$是一個$n$維隨機向量，稱$X$是亞高斯隨機向量如果$?x\in S^{n?1}$，$?X,x?$是亞高斯隨機變量。其中$S^{n?1}$是$n$維歐式空間中的單位球面，
$$S^{n?1}=\{x\in {\mathbb{R}}^n:{\Vert x\Vert }_2=1\}$$

亞高斯隨機向量的亞高斯范數
$${\Vert X\Vert }_{{\psi }_2}=\underset{x\in S^{n?1}}{\sup }{\Vert ?X,x?\Vert }_{{\psi }_2}$$

引理 假設隨機向量$X$的各個分量均是亞高斯、互相獨立且零均值的，則$X$是亞高斯隨機向量，并且存在常數$C>0$
$${\Vert X\Vert }_{{\psi }_2}\le C\underset{i=1,?,n}{\sup }{\Vert X_i\Vert }_{{\psi }_2}$$

證明
$?x\in S^{n?1}$，根據推廣Hoeffding不等式的第一個結論
$${\Vert ?X,x?\Vert }_{{\psi }_2}^2={\Vert \sum _{i=1}^n{x}_i{X}_i\Vert }_{{\psi }_2}^2\le C\sum _{i=1}^n{\Vert x_i{X}_i\Vert }_{{\psi }_2}^2$$

根據范數的正齊次性，
$$\begin{gathered} C\sum _{i=1}^n{\Vert x_i{X}_i\Vert }_{{\psi }_2}^2=C\sum _{i=1}^n|x_i{|}^2{\Vert X_i\Vert }_{{\psi }_2}^2\le C\sum _{i=1}^n|x_i{|}^2\max {\Vert X_i\Vert }_{{\psi }_2}^2 \\ =C\max {\Vert X_i\Vert }_{{\psi }_2}^2 \end{gathered}$$

于是
$${\Vert ?X,x?\Vert }_{{\psi }_2}^2\le C\underset{i=1,?,n}{\sup }{\Vert X_i\Vert }_{{\psi }_2}$$

事實上，在證明的第一步，我們也可以用范數的三角不等式得到：
$${\Vert \sum _{i=1}^n{x}_i{X}_i\Vert }_{{\psi }_2}^2\le \sum _{i=1}^n{\Vert x_i{X}_i\Vert }_{{\psi }_2}^2$$

例 spherical distribution是亞高斯向量
$X～Unif(\sqrt{n}{S}^{n?1})$，則$X$是亞高斯向量，且亞高斯范數有界。

證明
假設$g～N(0,I_n)$，則$X=\sqrt{n}\frac{g}{{\Vert g\Vert }_2}～Unif(\sqrt{n}{S}^{n?1})$，根據對稱性$?X,x?$具有相同的性質，$?x\in S^{n?1}$，于是為了簡化討論，我們取$x=e_1$，于是$?X,x?=X_1$，下面我們計算
$$P(X_1\ge t)=P(\sqrt{n}\frac{g_1}{{\Vert g\Vert }_2}\ge t)=P(\frac{g_1}{{\Vert g\Vert }_2}\ge \frac{t}{\sqrt{n}})$$

定義$\mathcal{E}=\{{\Vert g\Vert }_2\ge \frac{\sqrt{n}}{2}\}$，第一講我們討論過，${\Vert g\Vert }_2$是亞高斯的，于是
$$P({\mathcal{E}}^C)\le P(|{\Vert g\Vert }_2?\sqrt{n}|>\frac{\sqrt{n}}{2})\le 2e^{?cn},?c>0$$

計算
$$\begin{gathered} P(\frac{g_1}{{\Vert g\Vert }_2}\ge \frac{t}{\sqrt{n}})=P(\frac{g_1}{{\Vert g\Vert }_2}\ge \frac{t}{\sqrt{n}},\mathcal{E})+P(\frac{g_1}{{\Vert g\Vert }_2}\ge \frac{t}{\sqrt{n}},{\mathcal{E}}^C) \\ \le P(\frac{g_1}{{\Vert g\Vert }_2}\ge \frac{t}{\sqrt{n}},\mathcal{E})+P({\mathcal{E}}^C)\le P(|g_1|\ge \frac{t}{2})+P({\mathcal{E}}^C) \\ \le 2e^{?\frac{t^2}{8}}+2e^{?cn} \end{gathered}$$

第一項使用的是正態分布的上界，
$$1?\Phi (t)\le \frac{1}{\sqrt{2\pi }t}{e}^{?t^2/2}$$

下面分類討論：

情況1，假設$t\le \sqrt{n}$，則$e^{?cn}\le e^{?c{t}^2}$，于是上面的tail probability是亞高斯的；

情況2，如果$t>\sqrt{n}$，則$P(|X_1|\ge t)=0$，因為$|X_1|\le {\Vert X\Vert }_2=2$，上面的tail probability同樣是亞高斯的；

投影極限定理(project limit theorem)
$X～Unif(\sqrt{n}{S}^{n?1})$，$?x\in S^{n?1}$，$?X,x{?}_d\to N(0,1),n\to \infty$

說明
在高維的情況下，正態分布與spherical distribution有非常緊密的聯系，上上講我們說明了在高維的情況下，$N(0,I_n)\approx Unif(\sqrt{n}{S}^{n?1})$；這個定理則說明$Unif(\sqrt{n}{S}^{n?1})$沿球面$S^{n?1}$任意半徑的投影近似服從標準正態分布。

根據對稱性，我們同樣考慮$X_1$，
$$X_1=\sqrt{n}\frac{g_1}{{\Vert g\Vert }_2}$$

根據弱大數定律與依概率收斂的性質，
$$\frac{\sqrt{n}}{{\Vert g\Vert }_2}{\to }_{p}1$$

而$g_1～N(0,1)$，所以$?X,x?$趨近于標準正態分布。

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计II 随机向量5 亚高斯随机向量的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。