1 空間點過程與隨機測度（一）：從數星星說起

1.1 數星星的數學

小時候，在晴朗的夜里，我喜歡仰望星空，去數天上的星星——那是無憂無慮的快樂童年。長大后，當我們再度仰望蒼穹，也許會思考一個不一樣的問題：這點點繁星的分布是不是遵循什么數學規律呢？這個問題也許問得太不解風情了。但是，在這篇文章里，我希望向大家表達的是，這個問題會把我們帶入一個比星空更為美麗的數學的世界。

探討這個問題，不需要什么高深的方法。還是和我們小時候一樣，我們從“數星星”做起。相比于整個夜空，每個星星是在太小太小了，所以，我們可以做一個簡化的設定：把每顆星星看成是一個點——一個沒有大小的點——在我們的討論中，我們只關心星星的位置和數目，不關心它的大小和形狀，更不會關心那上面也許存在的外星人。（在之后的連載中，還會討論這些星星的重量，以及它們在歷史長河中的產生，運動，和消亡。）

我們開始數星星。為了方便，我們把整個星空分成不相交的區域，然后分區數數。在上面這個圖里面，我畫出了兩個區域：A 和 B。N(A)和N(B)分別表示，這兩個區域里面的星星的個數。我們可以看到，星星的分布可能是不均勻的，有些地方稀疏一些，另外一些地方稠密一些。所以，雖然A和B的面積差不多，但是，里面包含的星星數目卻相差好多倍。

由于各種各樣的原因，我們每天看到的星空中星星的分布可能都在變化。即使同一個區域，里面包含的星星數目也可能是不確定的——這就是概率理論能發揮作用的時候了。對于每個給定的區域，我們認為里面的星星數目是個隨機變量，比如上面所說的N(A)和N(B)。為了我們的討論能夠繼續進行，需要做出一些簡化假設。在這里，我們的假設很簡單：

對于任意兩個不相交的區域A和B，N(A)和N(B)是獨立的。

兩顆星星幾乎肯定不會出現在同一個點上。

對于這兩個假設，我需要做些說明。首先，請大家注意，除了說他們獨立之外，我沒有對N(A)和N(B)的分布形式作出任何假設——后面，我們會看到，為什么不需要假定它們是什么分布。另外，在第二個假設中“幾乎肯定”(almost surely)這個術語在數學上是有嚴格定義的，某個事情“幾乎肯定”會發生，表示，它們發生的概率是 1。

了解現代概率理論的朋友對于almost surely想必是司空見慣了。為了讓對這個術語不太熟悉的朋友不產生誤解，我還是在這里澄清一下。“幾乎肯定發生”和“必然發生”在數學上是有所區別的。舉個例子，我們在從 [0, 2] 這個區間的均勻分布中隨便抽一個數 a，那么 a 剛剛好等于 1 的概率是多少呢？——是 0。所以，我們可以說，a “幾乎肯定”不剛好等于 1。但是，我們不能說 a 必然不等于 1。

1.2 空間點過程

好了，繼續回到我們的主題。

這個數星星的例子代表了一類非常廣泛的隨機過程——空間點過程(Point Processes)。具體來說，什么叫做一個空間點過程呢？我們知道，對于一個（實數值）隨機變量，每次抽樣（或者試驗），得到的是一個實數；對于一個隨機向量，每次從分布里面抽取的是一個向量。那么，一個空間點過程，每次抽樣得到是在某個空間中的一個離散點集（里面有有限個或者可數無限個點）。在數星星的例子里面，這個空間就是“星空”了。一般來說，這個空間可以是任意的，比如實數集，二維空間，三維空間，曲面，甚至是無限維的函數空間。

最基本的空間點過程，叫做空間泊松過程(Spatial Poisson Process)——一個空間點過程，如果在不相交的區域中的計數是相互獨立的，那么這個空間點過程就叫空間泊松過程。雖然，我們沒有對N(A)的分布形式作出具體的設定。但是，僅僅憑著不相交區域內計數的獨立性，我們就可以得到一個重要的結論：

對于任意的區域 A，在A里面的點的數目 N(A) 服從泊松分布（Poisson Distribution）。

這里說“任意區域”其實是不太嚴格的——在正式的數學定理中，泊松過程所基于的空間必須是一個測度空間(measure space)，這里的區域A，必須是一個可測集(measurable set)。不熟悉測度理論的朋友可以不妨暫且認為這個區域是任意的吧——因為，在實際常見的幾乎所有幾何空間里，你能想象出來的集合都是可測集，而不可測的集合只存在于數學家的奇怪構造中。

為什么我們要討論空間泊松過程呢？它究竟有什么用呢？在我非常有限的知識范圍里，我覺得它起碼有兩個非常重要的意義：

在我們所生活的大千世界里，無數的自然現象和科學觀測都可以很好地用空間泊松過程來建模和分析。除了天上的星星之外，還有很多很多：天上飛的鳥，水里游的魚，街上走的人，空氣中的分子，放射過程產生的粒子，桌上的灰塵，很多儀器產生的圖像中的黑白噪點。。。。。。

泊松過程是構造很多別的過程的理論根基所在。了解Machine Learning的朋友應該知道近幾年，對非參數化貝葉斯(Non-parametric Bayesian)的研究熱火朝天——其中很重要的一種過程叫做狄里克萊過程(Dirichlet Processes)。對于狄里克萊過程，大家耳熟能詳的也許是Chinese Restaurant Process，又或者是Stick Breaking。可是，您是否知道，狄里克萊過程的理論根源卻是源于空間泊松過程？關于這兩種過程的聯系，是隨機測度理論的一個非常美妙的結果。這我們會留在以后的連載中繼續探討。

對于泊松過程，我相信很多朋友不是今天才第一次聽說的了。因為，它是很多初級隨機過程課程所講授的內容之一。在初級教科書里面，泊松過程是一個定義在時間上的過程。

時間上的泊松過程用于描述隨機到達，比如來排隊的人，或者路過的車子。上面這個圖回顧了時間上的泊松過程的一些基本的性質：

不相交的時間段上到來的數量是相互獨立的；

兩個點幾乎肯定不會同時到達；

在某個給定的時間段到達的數量服從泊松分布，分布均值正比于時間段的長度。

大部分初級教科書以性質1和3來定義時間上的泊松過程。我們比較一下這些假設和空間泊松過程的假設，就可以看出來，時間上的泊松過程其實是一般的空間泊松過程的特列。這里，泊松過程所基于的空間就是“時間軸”。其實，這里面的性質3，對于定義一個泊松過程不是必須的，泊松分布這種分布形式，其實是滿足性質1的必然結果。至于分布均值正比于時間段的長度，僅僅適用于均勻的泊松過程。對于一般的泊松過程，很可能在某些時間來得密集一些，另外一些時間稀疏一些，這時候分布均值就不一定正比于時間段長度了。

上面關于時間點過程的回顧，僅僅是為了說明這篇文章所講述的內容其實是大家在隨機過程課中所學的泊松過程的推廣。在下面的討論中，我們還是回到一般的空間泊松過程。

1.3 計數獨立和泊松分布

看到這里，我想大家也許會有疑問？為什么不相交區域的計數獨立，就必然會導致任意給定區域內的計數服從泊松分布呢？作為一篇博客文章，我不可能在這里進行一個嚴格的證明。但是，我會嘗試從更直觀的角度來解釋這個結論是怎么來的。這里的背后正隱含了獨立計數和泊松分布之間的深刻聯系。

為了考察這個問題，我們首先對整個空間進行細分，把它分成很多很小的不相交的小格子。

因為每個格子很小，因此對于每個具體的格子，它里面包含點的概率是很低的，而包含不止一個點的概率就更是低到幾乎可以忽略了。因此，每個區域中點的數量，大概等于包含點的格子的數量——這樣，我們把數點變成了數格子。

假設區域A包含M個格子，它們包含點的概率分別是$p_1$, $p_2$, …, $p_M$。如果我們用$X_i$表示在第 i 個格子是否存在點，那么 $X_i$ 是一個成功概率為$p_i$的伯努利試驗。因而，包含點的格子的總數可以表示為 $X_1+X_2+\dots +X_M$。因為這些格子不相交，根據不相交區域的獨立性假設，$X_1,X_2,\dots ,X_M$ 是相互獨立的。在這種條件下，它們的和有一個重要的結論：

對于M個獨立伯努利試驗$X_1,X_2,\dots ,X_M$，成功概率分別為$p_1,p_2,\dots ,p_M$，當每個$p_i$都很小，它們的總和是個常數C，那么 $X_1+X_2+\dots +X_M$ 近似服從以C為均值的泊松分布。當M趨近于無窮大，每個$p_i$分別趨近于0，并且總和保持為C，那么在極限條件下，$X_1+X_2+\dots$，嚴格服從以C為均值的泊松分布。（熟悉概率理論的朋友應該知道，這樣的描述其實是指“按分布收斂”。）

所以，當我們對空間進行無限細分，在極限條件下，會發生下面的事情：

每個格子的大小趨近于零，因而里面包含點的概率趨近于零；

同時，某個固定區域內的格子數目趨近于無窮大；

一個格子內幾乎肯定不會出現兩個點，因此某個區域內的點數幾乎相等于區域內的包含點的格子數；

在這個過程中，某個區域內，所有格子的含點概率的總和維持為一個常數，我們稱之為C。

這些觀察合在一起可以得到這樣的結論：這個區域內的點數，服從以C為均值的泊松分布。如果您熟悉測度理論和依分布收斂的內容，要根據這個思路寫出一個嚴格的證明其實并不困難。

在上面，我們通過獨立性假設，建立的泊松過程。其實，泊松過程還可以從另外一個方面去刻畫。我們知道，對于某個具體的區域，它里面的點數服從泊松分布（假設均值為C)。根據泊松分布的公式，在這個區域為空的概率（點數為零）是 $exp(?C)$。這似乎只是一個簡單的性質，但是請不要小看它——就這個小小的性質本身（不需要附加獨立性假定），就足以定義泊松過程：

一個空間點過程，如果區域為空的概率隨區域的大小（測度）以指數衰減，那么這個過程是一個空間泊松過程。

對于這個事情，它的嚴格證明需要使用Characteristic function的有關理論。但是，盡管不太嚴格，我們還是可以通過直觀的觀察對這個結論的原理有所感覺。假定，一個區域的大小（測度）為C，那么如果把它分成很多小格子，每個格子大小（測度）是$C_1,\dots ,C_M$。那么，顯然$C=C_1+\dots +C_M$。因此，這個區域為空的概率有

$exp(?C)=exp(?(C_1+\dots +C_M))=exp(?C_1)exp(?C_2)\dots exp(?C_M)$

注意，$exp(?C_i)$ 正是第 i 個細分的小格為空的概率。如果一個概率能夠按照乘積分解，其實已經在某種意義上預示了，每個格子是否為空其實是各自獨立的，也就是說每個格子是否包含點也是各自獨立的——這正好吻合了前面我們對泊松過程的構造。

所以，一方面，計數的獨立性必然導出泊松分布；反過來，泊松分布其也蘊含了獨立計數的內在性質。它們是一對孿生兄弟，誰也離不開誰。

這讓我們回憶起概率論中非常著名的“中央極限定理”：大量的獨立隨機變量的和依分布收斂于高斯分布。（我們上面說的是：大量的獨立伯努利試驗的和依分布收斂于泊松分布）。如果說，中央極限定理奠定了高斯分布（正態分布）在概率論中的核心地位；那么在空間點過程這個領域，上述的關于獨立計數和泊松分布的關系，則奠定了泊松分布在空間點過程理論中的核心地位。

很多的其它重要的隨機過程，包括Cox過程，Gamma過程，以及Dirichlet過程，都是以泊松過程為基礎的。在后面的文章中，還會進一步討論我們如何從泊松過程出發構造其它過程，特別是“完全隨機測度”(Completely Random Measure)，而統計建模中被廣泛采用的Gamma過程和Dirichlet過程，則是這種構造的一個重要的例子。

空間點過程與隨機測度（二）：測度的故事

既然這個Topic的題目是關于隨機測度，那么，自然是離不開“測度”(measure)這個概念的。所以在這篇文章里，我們要說一說測度。也許，在很多朋友的眼中，“測度”是一個特別理論的概念——似乎只有研究數學的人才應該關心它。這也許和大學的課程設計有關系，因為這個概念一般是在研究生的數學課程才會開始講授，比如“實分析”或者“現代概率理論”。而且，在大多數教科書里面，它的第一次出場就已經帶著厚厚的面紗——在我看過的大部分教材里面，它總是定義在$\sigma$代數之上，而$\sigma$代數聽上去似乎是一個很玄乎的名詞。

2.1 測度，其實很簡單

在這里，我只是想撥開測度的神秘面紗——其實，測度是一個非常簡單的事情：理解它，只需要小學生的知識，而不是研究生。

還是回到我們數星星的例子。

在這個例子里面，我們定義了一“數星星”函數，用符號N表示。這個函數的輸入是一個集合（比如A和B），輸出是一個數字——該集合中所包含的“星星”的數目。我們看看，這個函數有什么特點。首先，它是非負的，也就是說不可能在一個區域中含有“負數”個星星。其次，它有“可加性”。這是什么意思呢？

比如說，在上面兩個不相交的區域A和B里面，各自包含了5個和44個點。那么在A和B的并集總共包含了49個點。換言之，$N(AUB)=N(A)+N(B)$。

嚴格一點的說，如果一個“集合函數”，或者說一個從集合到非負實數的映射，如果它在有限個不相交集合的并集上取的值，等于它在這些集合上分別取的值的和，那么我們就認為這個函數具有“可加性”。更進一步的，如果它在可數無限個不相交集合的并集上符合這樣的可加性，那么我們就說，它是“可數可加”(Countably additive)。

一個非負“集合函數”，如果對空集取值為0，并且在“一系列集合上”具有可列可加性，那么這個“集合函數”就叫做一個“測度”(Measure)。作為例子，上面的“數星星”函數就是定義在所有二維空間子集上的一個測度。同樣的，我們可以舉出，很多具體的“測度”的例子，比如：

各個區域內的所有星星的總質量

各個區域的面積大小

2.2 不可測集和分球悖論

不過，在某些條件下，測度并不能定義在全部子集上。說通俗點，就是對其中一些集合，我們不可能定義出它的測度。比如說，在二維平面，我們可以按照一般的理解定義面積函數，比如長和寬分別為a和b的長方形面積為ab。對于復雜一點的形狀，我們可以通過積分來計算面積。但是，是不是所有的二維平面的子集都存在一個“面積”呢？正確的答案顯得有點“違背常識”：在承認選擇公理(Axiom of Choice)正確的情況下，確實有一些集合沒法定義出面積。或者說，無論我們在這些集合上定義面積為多少，都會導致自相矛盾的結果。

這里要注意的是，“沒法定義面積”和“面積為零”是兩回事。比如，在二維集合上的單個離散點或者直線，面積都是零。而那些“沒法定義面積”的子集——我們稱之為“不可測集”都是一些非常非常奇怪的集合——對于這些集合，我們把它的面積定義為零，或者別的什么非零的數，都會導致自相矛盾。這樣的集合是數學家們用特殊的巧妙方法構造出來的——在實際生活中大家是肯定不會碰到的。這樣的構造并不困難，但是很巧妙。有興趣的朋友可以在幾乎每本講測度論的教科書中找到這種構造，這里就不詳細說了。

（注：上圖不是我制作的，而是出自http://www.daviddarling.info/）

關于不可測 集，有一個很著名的“悖論”，叫做“巴拿赫-塔斯基分球悖論”(Banach-Tarski Paradox)。如果說，某些奇怪的集合不能定義出面積還能讓很多人勉強接受的話，那么“塔斯基分球”可能會讓很多人“簡直無法接受”——包括在上世紀二三十年代的很多著名數學家。這個“怪論”是這么說的：

我們可以把一個三維的半徑為1的實心球用某種巧妙方法分成五等分——五等分的意思是，把其中一份旋轉平移后可以和另外一份重合——然后把這五個分塊旋轉平移后，可以組合成兩個半徑為1的實心球。簡單的說，一個球分割重組后變成了兩個同樣大小的球！

當然了，這樣的過程還可以繼續下去，兩個變四個，四個變八個。。。。。。有人說，這顯然不正確吧，然后他這么Argue：

如果一個實心球體積為V（因為球的半徑是1，所以V > 0），那么五個等分塊，每塊體積為V/5，平移旋轉不改變體積，所以，無論它們如何組合，最后得到的東西總體積是V，而不可能是2V。

但是，這樣的說法在傳統意義下確實沒錯——你拿去中學老師那里，肯定會被稱贊是一個善于思考的好孩子。但是，我在更廣義的條件下考察，就有問題了。因為，這個論述是基于這么一個假設：每一個分塊都是有“體積”的。而塔斯基分球的精妙之處就在于它把球分成了五個“不可測集”——也就是五個“無法定義體積”的奇怪分塊。所以，這里我們說“五等分”只是說它們其中一塊平移旋轉后能重合到另一塊上，并不是說它們“體積相等”——因為根本就沒有體積，也就沒有相等之說。

這個分球術可以通過抽象代數里面對于自由群的分解來實現。對于塔斯基分球有興趣的朋友，可以參考Leonard M. Wapner的數學讀本The Pea and the sun: a mathematical paradox。

細心的朋友可能注意到了，不可測集的構造也好，塔斯基分球也好，都是基于對“選擇公理”(Axiom of Choice)的承認。如果我們不承認它，不就沒事了么？在我們拒絕承認“選擇公理”之前，我們首先要知道“選擇公理”究竟是什么東西。通俗一點的說，選擇公理可以這么描述：

任意一組（可能有不可數無限個）非空集合，我們都可以從每個集合挑出一個元素。

看上去非常“無辜”啊——這不就是典型的“正確的廢話”么——所以它被叫做“公理”。可是就是這么一個公理，卻是魔力驚人，能讓我們把實心球一個變倆。這就是數學的魅力！

在歷史上，巴拿赫和塔斯基提出分球悖論的年代，正是數學家們對選擇公理的存廢進行激烈爭論的年代。數學家們分成兩派，一派支持“選擇公理”，另外一派則反對它。而巴拿赫和塔斯基這兩位數學天才在當時原是反對接受選擇公理，所以它們煞費苦心找到這個分球方法，目的就是以這種令人難以接受的“荒謬現象”來否定選擇公理。而在后來的發展中，大部分數學家還是認識到選擇公理對于現代數學發展的重要意義（比如，泛函分析中的核心定理——Hahn Banach延拓定理就依賴于對選擇公理的承認），而選擇接受它，當然塔斯基分球這種“怪現象”也被接受了。現在，“巴拿赫-塔斯基分球悖論”又被稱為“巴拿赫-塔斯基分球定理”——從悖論變成定理了。

數學就是這樣一個奇妙的世界。它往往基于我們的生活常識建立起來，但是一旦建立起來就要遵循它本身的發展規律，哪怕它有時候違反“常識”——人們能直觀認知的常識是有限的，而數學的威力能把我們帶到常識所不能觸及的地方。

2.3 測度與集合的代數結構

測度和集合的運算是密切相關的。根據測度的定義，如果A和B是兩個不相交的集合，如果A和B的測度被確定之后，它們的并集的測度也就確定了，就等于它們各自測度的和。如果B是A的子集，那么如果它們的測度測定，那么它們的差集A – B的測度也就確定了，等于A和B的測度的差。所以，當我們要定義一個測度的時候，其實往往不需要對所有的集合都作出定義，只要對一部分集合定義好了，其它集合的測度也就確定了。

我們說了不相交集合的并集，以及差集，那么對于一般的并集呢？如果A和B是兩個可能相交的集合。那么它們的并集A U B可以分成三個不相交的部分：A – C, B – C，以及C三個部分，這里C是A和B的交集。只要知道交集C的測度，根據不相交并集和差集的測度公式，我們就可以知道A – C, B – C，以及A U B的測度。可是僅僅知道 A 和 B的測度，它們的交集的測度是顯然不能確定的——兩個即使是同樣大小的集合，可能相交很多，甚至重合，也可能不相交。

所以，要有效定義一個測度，我們首先需要確定它在一系列集合以及它們的所有交集上的值。這樣，這些集合的所有并集和差集的測度也就給定了。數學家把這種觀察歸納成一種代數結構——集合上的Semiring——注意這和抽象代數里面的semiring不是一回事。S是一組集合，如果S中任意兩個集合的交集仍在S內，S中任何兩個集合的差集都可以表示為S中其它有限個不相交集合的并集，那么S就叫一個semiring。那么，只要對S中的集合定義好測度，那么由這些集合的可數次交集并集差集運算產生的那些集合的測度也就確定了。

一組集合，如果包含空集，并且對可數次交集并集補集運算是封閉的，那么這組集合其實就是一個Sigma代數。從某種意義上說，如果我們確定了一個覆蓋全集的semiring上的測度，那么整個sigma代數中所有集合的測度都確定了。這可以和線性空間做一個不太嚴格的類比。在線性代數里面，對于一個線性函數，如果它在基上的函數值確定了，那么它在整個線性空間的函數值也就確定了。對于測度，semiring好比是“基”，而sigma代數則好比是整個空間。

2.4 數星星的數學還在繼續：隨機測度

回到數星星的過程。上面我們討論過了，數星星其實就是一個測度。可是，每天晚上我們看到的星星分布都在變化的。也就是說，每數一次星星，就會得到一個不同的測度。這和擲骰子有點像。每擲一次骰子，我們的得到一個不同的點數——這個點數可以被看成是一個隨機變量，變量的值是1到6的整數。同樣的道理，星星的分布不確定，每數一次得到一個不同的測度——這也可以看成是一個“隨機變量”，只是這里變量的值是一個測度，而不是一個數字。這樣的一種以測度為值的“隨機變量”，叫做“隨機測度”(Random Measure)。這是在接下來的文章中要繼續講述的故事。

https://dahuasky.wordpress.com/2010/04/11/%E7%A9%BA%E9%97%B4%E7%82%B9%E8%BF%87%E7%A8%8B%E4%B8%8E%E9%9A%8F%E6%9C%BA%E6%B5%8B%E5%BA%A6%EF%BC%88%E4%B8%80%EF%BC%89%EF%BC%9A%E4%BB%8E%E6%95%B0%E6%98%9F%E6%98%9F%E8%AF%B4%E8%B5%B7/
https://dahuasky.wordpress.com/2010/04/21/%e7%a9%ba%e9%97%b4%e7%82%b9%e8%bf%87%e7%a8%8b%e4%b8%8e%e9%9a%8f%e6%9c%ba%e6%b5%8b%e5%ba%a6%ef%bc%88%e4%ba%8c%ef%bc%89%ef%bc%9a%e6%b5%8b%e5%ba%a6%e7%9a%84%e6%95%85%e4%ba%8b/

總結

以上是生活随笔為你收集整理的空间点过程(Point Processes)和随机测度(Random Measure)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。