1. 簡(jiǎn)介

1.1 信息檢索和機(jī)器學(xué)習(xí)

從高維數(shù)據(jù)中提取信息的問(wèn)題與降維問(wèn)題密不可分，也就是說(shuō)，從典型的高維觀察中提取一些合理的特征的問(wèn)題。例如，考慮一下人類在圖像上識(shí)別人臉的能力。該圖像被視為一個(gè)高維向量，例如 $800\times 600$ 的像素值，肯定不能作為原始像素?cái)?shù)據(jù)存儲(chǔ)在人類的大腦中。相反，我們必須提取一些特征，例如眼睛之間的相對(duì)距離，鼻子的長(zhǎng)度，以及更抽象的不同臉部區(qū)域的相互作用，作為一個(gè)整體。儲(chǔ)存和回憶這幾個(gè)抽象特征的能力使我們有可能識(shí)別出一張臉，而不受不同的背景、太陽(yáng)鏡或部分遮擋的影響，并能區(qū)分不同的臉。在廣泛的數(shù)據(jù)分析領(lǐng)域有更多的例子，通過(guò)提取特征可以從高維數(shù)據(jù)中擠出信息，從基因數(shù)據(jù)分類到音頻信號(hào)處理，從數(shù)據(jù)可視化到腦電圖（EEG）數(shù)據(jù)分析。

從形式上看，降維的問(wèn)題是這樣的。給定一個(gè)$p$維的實(shí)值隨機(jī)變量$X={\left[X_1\dots X_p\right]}^{?}$，找到一個(gè)圖或算法

$$f:{\mathbb{R}}^p\to {\mathbb{R}}^k\text{?with?}k?p,$$

使得$S=f(X)$包含 “盡可能多的來(lái)自$X$的信息”。根據(jù)上述例子的精神，${\mathbb{R}}^p$將被稱為原始數(shù)據(jù)空間，${\mathbb{R}}^k$被稱為還原數(shù)據(jù)空間或特征空間。

例如，信息的保存可以用方差來(lái)衡量，因此$S$的方差應(yīng)該反映$X$的方差。這也可以解釋為消除數(shù)據(jù)中的冗余。考慮下面的例子：溫度被測(cè)量，一次是攝氏度（這將是隨機(jī)變量的第一個(gè)條目$X_1$），一次是華氏度$\left(X_2\right)$。顯然，這些信息可以簡(jiǎn)化為一個(gè)變量，例如$S_1=X_1$，甚至不損失任何信息。

矩陣$\mathbf{X}?{\mathbb{R}}^{p\times n}$中的$(i,j)$條目$x_{ij}$表示隨機(jī)變量$X_i$在觀測(cè)$j$的實(shí)現(xiàn)，稱為觀測(cè)矩陣。其列是$p$維隨機(jī)變量$X$的實(shí)現(xiàn)。

期望值用$\mathbb{E}(X)=\mu \in {\mathbb{R}}^p$來(lái)表示。由于我們處理的是一個(gè)多變量隨機(jī)變量，方差現(xiàn)在由協(xié)方差矩陣（也稱為方差-協(xié)方差矩陣）表示，其定義為

$$\Sigma =\mathrm{Var}(X)=\mathbb{E}\left((X?\mu )(X?\mu {)}^{?}\right)\in {\mathbb{R}}^{p\times p}.\text{\hspace{1em}(1.1)}$$

其$(i,j)$項(xiàng)是$i^{\text{th?}}$和$j^{\text{th?}}$隨機(jī)變量之間的協(xié)方差。協(xié)方差矩陣是對(duì)稱的，即$\Sigma ={\Sigma }^{?}$，并且是正半無(wú)限的${}^1$，即$\Sigma \ge 0?$ $x^{?}\Sigma x\ge 0?x$。

${}^1$ in contrast to positive definite, i.e. $x^{?}\Sigma x>0?x=0$ and $x^{?}\Sigma x=0?x=0$

例1.1. 考慮兩個(gè)常數(shù)隨機(jī)變量$X_1\equiv \text{const}$ ，$X_2\equiv \text{const}$。這意味著我們有一個(gè)協(xié)方差矩陣$\Sigma =0$的二維隨機(jī)變量。這個(gè)例子表明，$\Sigma$不一定是正定的。

由于隨機(jī)變量的實(shí)際分布通常是未知的，期望值通常是在$n$觀測(cè)值的基礎(chǔ)上估計(jì)的。

$$\frac{1}{n}\sum _{j=1}^n?\begin{array}{c}{x}_{1j}\\ ?\\ x_{pj}\end{array}?=\frac{1}{n}\mathbf{X}{1}_n:=\hat{\mu }\text{\hspace{1em}(1.2)}$$
利用這個(gè)估計(jì)的期望值和克羅內(nèi)克積（Kronecker product）${}^2$$?$，
可以計(jì)算出居中的觀測(cè)矩陣$\mathbf{X}$，如下所示。

$$\overline{\mathbf{X}}=\mathbf{X}?\hat{\mu }?\left[\begin{array}{ccc}1& ?& 1\end{array}\right]\text{\hspace{1em}(1.3)}$$

${}^2$ The Kronecker product of two matrices $\mathbf{A}?\mathbf{B}$ with A={aij}∈Rk×l,B={bij}∈Rm×n\mathbf{A}=\left\{a_{i j}\right\} \in \mathbb{R}^{k \times l}, \mathbf{B}=\left\{b_{i j}\right\} \in \mathbb{R}^{m \times n}A={aij?}∈Rk×l,B={bij?}∈Rm×n is a $(km\times ln)$-matrix $\mathbf{C}$, such that $\mathbf{C}=?\begin{array}{ccc}{a}_{11}\mathbf{B}& ?& a_{1l}\mathbf{B}\\ ?& ?& ?\\ a_{k1}\mathbf{B}& ?& a_{kl}\mathbf{B}\end{array}?$

有了居中的觀察矩陣$\overline{\mathrm{X}}$，協(xié)方差矩陣$\Sigma =\mathrm{Cov}(X)$可以通過(guò)以下方式估計(jì)

$$\hat{\Sigma }=\frac{1}{n?1}\overline{\mathbf{X}}{\overline{\mathbf{X}}}^{?}.$$

由于在實(shí)際應(yīng)用中$n$趨向于大，也可以使用近似值 $\frac{1}{n}\overline{\mathbf{X}}{\overline{\mathbf{X}}}^{?}$.

1.2 關(guān)于隨機(jī)變量的初步說(shuō)明

我們想回顧一下概率論中的一些基本定義和符號(hào)，在本講義中我們偶爾會(huì)用到。為了我們的目的，考慮連續(xù)或離散的實(shí)數(shù)多維隨機(jī)變量就足夠了。更正式地說(shuō)，讓$X\Omega \to {\mathbb{R}}^p$是一個(gè)隨機(jī)變量，并將其相對(duì)于通常勒貝格測(cè)度的密度表示為$p_X(x)$。我們將使用非常草率但非常方便的符號(hào)$X\in {\mathbb{R}}^p$來(lái)表示隨機(jī)變量$X$在${\mathbb{R}}^p$中取值。

對(duì)于（絕對(duì)）連續(xù)隨機(jī)變量，密度是一個(gè)從${\mathbb{R}}^p$到$\mathbb{R}$的連續(xù)函數(shù)。如果是離散隨機(jī)變量，其取值為$x_i$，概率為$p_i$，我們采用狄拉克δ函數(shù)${}^3$來(lái)描述其密度，即

$$p_X(x)=\sum _i{p}_i\delta \left(x?x_i\right).$$

${}^3$ The Dirac-Delta-Function fulfills the condition that $\delta (t)=0$ for $t=0$ and ${\int }_{{\mathbb{R}}^p}\delta (t)\mathrm{d}t=1_p$. i.e. $\delta$ has an infinitely high peak at $0.$

所以，如果$\mathcal{A}?{\mathbb{R}}^p$，則$X$在$\mathcal{A}$中取值的概率為

$$\mathrm{Pr}(X\in \mathcal{A})={\int }_{\mathcal{A}}{p}_X(x)\mathrm{d}x.$$

注意，在離散隨機(jī)變量的情況下，這個(gè)表達(dá)式只是

Pr?(X∈A)=∫A∑ipiδ(x?xi)dx=∑{i∣xi∈A}pi.\operatorname{Pr}(X \in \mathcal{A})=\int_{\mathcal{A}} \sum_{i} p_{i} \delta\left(x-x_{i}\right) \mathrmze8trgl8bvbq x=\sum_{\left\{i \mid x_{i} \in \mathcal{A}\right\}} p_{i} . Pr(X∈A)=∫A?i∑?pi?δ(x?xi?)dx={i∣xi?∈A}∑?pi?.
通過(guò)知道兩個(gè)隨機(jī)變量$X\in {\mathbb{R}}^p$和$Y\in {\mathbb{R}}^k$的聯(lián)合密度$p_{X,Y}(x,y)$，就可以分別推導(dǎo)出$X$和$Y$的個(gè)體密度。這些被稱為邊緣密度（marginal densities），它們由以下公式給出

$$\begin{array}{rl}& p_X(x)={\int }_{{\mathbb{R}}^k}{p}_{X,Y}(x,y)\mathrm{d}y,\\ & p_Y(y)={\int }_{{\mathbb{R}}^p}{p}_{X,Y}(x,y)\mathrm{d}x.\end{array}$$
如果聯(lián)合密度函數(shù)是給定的，對(duì)兩個(gè)變量之一的某個(gè)實(shí)現(xiàn)的了解，例如$X$，可以推斷出關(guān)于$Y$的分布信息。由此產(chǎn)生的密度函數(shù)被稱為條件密度函數(shù)，如果$X$的實(shí)現(xiàn)是$x\in {\mathbb{R}}^p$，它由以下公式給出

$$p_{Y\mid X=x}(y)=\frac{p_{X,Y}(x,y)}{p_X(x)}.$$

${}^4$ 從形式上看，這個(gè)集合必須是可測(cè)的，相對(duì)于博雷爾$\sigma$-代數(shù)而言，但如果你不知道什么是可測(cè)的，你能想象的所有子集都滿足這個(gè)條件。有兩個(gè)量在描述隨機(jī)變量$X\in {\mathbb{R}}^p$的統(tǒng)計(jì)屬性時(shí)起著突出的作用。它們是第一和第二時(shí)刻，也被稱為期望值

$$\mathbb{E}[X]={\int }_{{\mathbb{R}}^p}x{p}_X(x)\mathrm{d}x=:\mu$$

和方差/協(xié)方差

$$\mathrm{Var}[X]={\int }_{{\mathbb{R}}^p}(x?\mu )(x?\mu {)}^{?}{p}_X(x)\mathrm{d}x.$$

注意，$\mu \in {\mathbb{R}}^p$和$\mathrm{Var}[X]$是${\mathbb{R}}^{p\times p}$的半正定矩陣。

Exercise：證明方差/協(xié)方差矩陣是正半定的

	$x_1$	$x_2$	$x_3$	$x_4$	$p_y(Y)\downarrow$
$y_1$	$\frac{1}{8}$	$\frac{1}{16}$	$\frac{1}{32}$	$\frac{1}{32}$	$\frac{1}{4}$
$y_2$	$\frac{1}{16}$	$\frac{1}{8}$	$\frac{1}{32}$	$\frac{1}{32}$	$\frac{1}{4}$
$y_3$	$\frac{1}{16}$	$\frac{1}{16}$	$\frac{1}{16}$	$\frac{1}{16}$	$\frac{1}{4}$
$y_4$	$\frac{1}{4}$	0	0	0	$\frac{1}{4}$
$p_x(X)$	$\frac{1}{2}$	$\frac{1}{4}$	$\frac{1}{8}$	$\frac{1}{8}$	1

表1.1: 該表顯示了一個(gè)示例性的聯(lián)合概率分布。

例1.2. 表1.1中給出了一個(gè)二維離散隨機(jī)變量的聯(lián)合概率分布的例子。邊際密度分別用$p_Y（y）$和$p_X（x）$表示。作為一個(gè)練習(xí)，請(qǐng)計(jì)算在$Y=y_2$的情況下$X$的條件密度。

Answer: $p_{X\mid Y=y_2}(x)={\sum }_i{p}_i\delta \left(x?x_i\right)$, with $p_1=1/4,p_2=1/2,p_3=1/8,p_4=1/8.$

總結(jié)

以上是生活随笔為你收集整理的机器学习与高维信息检索 - Note 1 - 信息检索、机器学习与随机变量的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。