說明

上文【機器學(xué)習(xí)：論相關(guān)（一）】說明了相關(guān)在幾何學(xué)、線性代數(shù)、和概率中都提到相似的概念。本文重點討論在概率系統(tǒng)中，相關(guān)的現(xiàn)實意義，以及在時間序列上的應(yīng)用。

五、概率學(xué)對相關(guān)的表述

5.1 期望的概念

????????在文【機器學(xué)習(xí)系列4：期望到底是個啥？】中，直觀地介紹了期望的概念，這里站在理論立場上，對期望這個概念重新定義。

????????所謂期望，必須要有兩個要素：1）一個概率空間? 2）一個函數(shù)，該函數(shù)自變量為概率事件的集合。

舉個例子：比如一個骰子，這是一個概率空間，另有一個收益函數(shù)，

????????這個函數(shù)意思是，見到骰子是“1”，就得2分；見到骰子是“2，3，4”之一，就得1分；見到{5，6}得20分。對應(yīng)的概率空間是：

那么，期望就是：

? ? ? ? ? ? ? ? ? ? ??

? ? ? ? ? ? ? ? ? ? ??

在向量角度上看，在概率P下對函數(shù)f期望就是：向量?和這兩個向量的內(nèi)積:

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

推廣到連續(xù)函數(shù)：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

其中，f是概率密度函數(shù)，F是集合函數(shù)。

結(jié)論：期望就是兩個集合函數(shù)（一個是概率密度、一個是收益函數(shù)）的內(nèi)積！

5.2 能量的自然規(guī)律

上文中提到，期望，就是一個概率空間，與一個打分函數(shù)的內(nèi)積。【機器學(xué)習(xí)：論相關(guān)（一）】），然而，能量函數(shù)與期望、方差有內(nèi)在關(guān)系。

首先讓我們回顧彈簧的能量：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

????????該公式最核心的內(nèi)容是;k不過是個彈性系數(shù)；因此，位移的平方構(gòu)成能量。也就是說，所謂能量是關(guān)于位移的拋物線函數(shù)，做為拋物函數(shù)，要么有極大值，要么有極小值；而自然界，能量函數(shù)普遍是有下限沒有上限。舉個直觀的例子：將水桶舉高到離地面一米的桌上；可以：

• 用手將水杯舉起，花掉50焦耳能量。
• 將水杯舉到10樓，在回到桌面，1000焦耳。
• 將水杯舉到月球，再回到桌面，一億焦耳。

?????????而用少于50焦耳能量，將無法將水桶舉到桌面。可見，開展一個活動，消耗能量有極小值，沒有極大值。總之，遇到平方函數(shù)，立刻想到彈簧的勢能，可以幫你建立數(shù)理模型。

5.3? 能量、期望和方差的關(guān)系

舉一個例子：給出下圖若干石頭子的坐標(biāo)，問這些石頭到哪個點的能量最小？

?寫出總能量函數(shù)：

展開的形式為：

令：

? ? 有? ??

? ?有? ?

正好是：?;? ?;

是五個點的幾何重心，也就是均值。而方差的公式是：

?因此，有下列稱述：

• 1）所謂期望，就是采樣點的幾何重心。
• 2）所有采樣點相對幾何重心的能量最小。
• 2)? 所謂方差，就是所有采樣點到幾何重心的能量。

?5.4? 相關(guān)性

（未完待續(xù)）

總結(jié)

以上是生活随笔為你收集整理的机器学习：论相关（二）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。