https://en.wikipedia.org/wiki/Autocorrelation

一、相關的概念從何而來？

? ? ? ? 相關這個概念，是數學進入到多維度才出現的概念，在此之前，數值與數值談不上相關，但代數進入向量化時代，隨著對兩團數之間的關系研究，出現相關之概念。比如，集合與集合的關系、一個向量和另一個向量的關系等。

? ? ? ? “相關”這個概念在數學上，至少三處提到：幾何層面的、代數層面的、概率層面的。雖然說來源不同，但它們從概念上不矛盾，而且互相印證。

? ? ? ? 下面，我們將討論從幾何層面的、代數層面的、概率層面的各自表述，以及它們是如何一致起來的。

二、幾何對相關的表述

從幾何上說，線與線存在相關關系是建立在兩條線的夾角來衡量的，如下：

當幾何發展到向量階段，就出現“分量”的概念，因而，兩個向量的夾角就扮演了相關程度的角色。?

三、代數對相關的表述

?如果兩個向量：(就是A，B都是實的n維向量)，當

• ?則是正交的（就是垂直概念的拓寬），即線性無關
• 且說明是平行的,也就是線性相關。
• ??且說明是線性無關。

?一般來說，上述在線性代數中，叫做A可以用B線性表出，即

?中當時，A和B線性相關。都是一回事。

四、內積的概念

????????線性相關是強相關，有沒有比線性相關的弱相關呢？有。這里先介紹內積的重大概念。

內積就是兩個相同維度向量和之間的運算：

????????這里為什么強調內積的概念？主要是，凡是針對由多個數組成的數據集團，這種運算都有效，比如對：1）集合里的元素? 2）向量，矩陣? 3）概率的分布。4）兩個函數的關系5）一個函數與一個概率分布的關系，等等都有效。

?五、概率學對相關的表述?

5.1 期望的概念

????????在文【機器學習系列4：期望到底是個啥？】中，直觀地介紹了期望的概念，這里站在理論立場上，對期望這個概念重新定義。

????????所謂期望，必須要有兩個要素：1）一個概率空間? 2）一個函數，該函數自變量為概率事件的集合。

舉個例子：比如一個骰子，這是一個概率空間，另有一個收益函數，

這個函數意思是，見到骰子是“1”，就得2分；見到骰子是“2，3，4”之一，就得1分；見到{5，6}得20分。

概率空間是：

?

那么，期望就是：

推廣到連續函數：

其中，f是概率密度函數，F是集合函數。

實質上，期望就是兩個集合函數（一個是概率密度、一個是收益函數）的內積！

（未完待續！）

總結

以上是生活随笔為你收集整理的机器学习：论相关（一）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。