0. 零空間

零空間是在線性映射（即矩陣）的背景下出現(xiàn)的，指：像為零的原像空間，即{x| Ax=0}。
在數(shù)學(xué)中，一個(gè)算子 A 的零空間是方程 Av = 0 的所有解 v 的集合。它也叫做 A 的核，核空間。如果算子是在向量空間上的線性算子，零空間就是線性子空間。因此零空間是向量空間。

1 馬爾科夫不等式

切比雪夫不等式是馬爾科夫不等式的特殊情況，所以我們先來看看馬爾科夫不等式。

1.1 馬爾科夫不等式與直觀感受

來感受一下馬爾科夫不等式：
可見，越大于平均值，概率越低。

1.2 馬爾科夫不等式與年薪百萬

看看這個(gè)怎么去計(jì)算百萬年薪的概率。

1.3 馬爾科夫不等式的證明

2. Chebyshev

Chebyshev bounds give an upper bound on the probability of a set based on known expected values of certain functions (e.g., mean and variance).

The simplest example is Markov’s inequality.

2.1 Chebyshev distance

數(shù)學(xué)上，切比雪夫距離（Chebyshev distance）或是L∞度量是向量空間中的一種度量，二個(gè)點(diǎn)之間的距離定義為其各座標(biāo)數(shù)值差的最大值。以(x1,y1)和(x2,y2)二點(diǎn)為例，其切比雪夫距離為max(|x2-x1|,|y2-y1|)。切比雪夫距離得名自俄羅斯數(shù)學(xué)家切比雪夫。

若將國際象棋棋盤放在二維直角座標(biāo)系中，格子的邊長定義為1，座標(biāo)的x軸及y軸和棋盤方格平行，原點(diǎn)恰落在某一格的中心點(diǎn)，則王從一個(gè)位置走到其他位置需要的步數(shù)恰為二個(gè)位置的切比雪夫距離，因此切比雪夫距離也稱為棋盤距離[3]。例如位置F6和位置E2的切比雪夫距離為4。任何一個(gè)不在棋盤邊緣的位置，和周圍八個(gè)位置的切比雪夫距離都是1。

2.2 切比雪夫（Chebyshev）定理

在總體分布未知（或非正態(tài)）且樣本容量小于30時(shí)，均值的抽樣分布是未知的，這時(shí)我們就不能運(yùn)用中心極限定理、t分布和大樣本理論來估計(jì)總體的均值，此時(shí)，可以運(yùn)用切比雪夫（Chebyshev）定理來近似估計(jì)總體均值。

切比雪夫不等式是馬爾科夫不等式的特殊情況，而且還有進(jìn)一步的關(guān)系：這兩個(gè)不等式的作者是師生關(guān)系。

馬爾科夫不等式是以俄國數(shù)學(xué)家安德雷·馬爾可夫命名的。
切比雪夫不等式是以馬爾科夫的老師巴夫尼提·列波維奇·切比雪夫命名的。

切比雪夫不等式，描述了這樣一個(gè)事實(shí)，事件大多會集中在平均值附近。

2.2.1 切比雪夫不等式與直觀感受

可見，越遠(yuǎn)離平均值，概率越低。

2.2.2 切比雪夫不等式與年薪百萬

2.2.3 切比雪夫不等式的證明

%%%%%%%%%%%%%%%%

2.2.1 切比雪夫（Chebyshev）定理/不等式：

設(shè)X是一個(gè)隨機(jī)變數(shù)，取區(qū)間（0，∞）上的值，F(x)是它的分布函數(shù)，設(shè)Xα（α >0）的數(shù)學(xué)期望M(Xα )存在，a>0，則不等式成立。這叫做切比雪夫定理，或者切比雪夫不等式。

2.2.2 切比雪夫不等式的提出

19世紀(jì)俄國數(shù)學(xué)家切比雪夫研究統(tǒng)計(jì)規(guī)律中，論證并用標(biāo)準(zhǔn)差表達(dá)了一個(gè)不等式，這個(gè)不等式具有普遍的意義，被稱作切比雪夫定理，其大意是：任意一個(gè)數(shù)據(jù)集中，位于其平均數(shù)m個(gè)標(biāo)準(zhǔn)差范圍內(nèi)的比例（或部分）總是至少為1－1/m2，其中m為大于1的任意正數(shù)。對于m=2，m=3和m=5有如下結(jié)果：

所有數(shù)據(jù)中，至少有3/4（或75%）的數(shù)據(jù)位于平均數(shù)2個(gè)標(biāo)準(zhǔn)差范圍內(nèi)。
所有數(shù)據(jù)中，至少有8/9（或88.9%）的數(shù)據(jù)位于平均數(shù)3個(gè)標(biāo)準(zhǔn)差范圍內(nèi)。
所有數(shù)據(jù)中，至少有24/25（或96%)的數(shù)據(jù)位于平均數(shù)5個(gè)標(biāo)準(zhǔn)差范圍內(nèi)。

2.2.3 例題分析

一種新的心臟手術(shù)正在一家醫(yī)院推廣，對于已完成的20例這種手術(shù)，平均住院期為14.3天，標(biāo)準(zhǔn)差為2.84天，因?yàn)槭中g(shù)復(fù)雜，住院期天數(shù)的總體不服從正態(tài)分布，而是有些正偏，總體標(biāo)準(zhǔn)差未知，求總體均值的90%近似置信區(qū)間。

如果可以假設(shè)該總體是正態(tài)的，即能夠使用t分布方法，則可以得到有更高精度的精確90%置信區(qū)間：

對比用切比雪夫不等式和t分布的結(jié)果，可以說明前者是對總體均值的近似，后者是對總體均值的精確。（見總體均值估計(jì)方法表）

2.2.4 多面體的Chebyshev中心

2.3 總結(jié)

如果我們把人群的收入分布計(jì)算出來，我估計(jì)應(yīng)該是個(gè)正態(tài)分布，那么年入百萬的概率就更低了，知乎有人算出來是 萬分之四 。

所以馬爾科夫不等式、切比雪夫不等式只是對概率的一個(gè)估計(jì)，有可能不是很準(zhǔn)確，但總比瞎想要準(zhǔn)確。

百萬年薪固然很難，但是根據(jù) 貝葉斯定理 ，或許增加一些條件，可以大大增加概率：

• 接受好的教育，不能就讀名校也沒有關(guān)系，現(xiàn)在網(wǎng)上公開課的資源也很好

• 勤奮、并有明確的目標(biāo)

• 要有耐心，數(shù)據(jù)顯示，40左右慢慢達(dá)到人生的收入巔峰

• …

3. Chernoff Bound

隨機(jī)變量偏離它的期望一個(gè)給定的值的概率，被稱為偏差的尾概率(tail probability)。尾概率的計(jì)算方式除了利用已知條件直接計(jì)算以外，還有很多『模板』可以使用，就包括：

• 馬爾科夫（Markov）不等式
• 切比雪夫（Chebyshev）不等式
• 切爾諾夫（Chernoff）界

簡單來說尾概率就是 $P(X>t)$ 的范圍主要由計(jì)數(shù)計(jì)算概率法和利用數(shù)字特征計(jì)算的方法。

3.1 定義

切爾諾夫界(Chernoff Bound)通常是用來描述隨機(jī)變量的和的取值在其期望附近的概率，在大多數(shù)情況下，隨機(jī)變量都具有"集中"現(xiàn)象，也即概率較高的取值都集中在其期望附近。比如說拋硬幣,拋一次硬幣也許無法確定出現(xiàn)正面的概率，但是拋10000次之后呢？出現(xiàn)正反面的概率都穩(wěn)定在了12附近，這就是"概率集中"現(xiàn)象，而切爾諾夫界(Chernoff Bound)就可以定量的來描述這種現(xiàn)象。

3.2 examplar explaination

切爾諾夫界(Chernoff Bound)的證明主要用到了兩個(gè)工具，一是Markov不等式,一是Moment Generating Functions.

examplar explaination

3.3 切諾夫界的特殊性質(zhì)

4. Union Bound

https://www.zhihu.com/question/27821324
https://zh.wikipedia.org/wiki/%E5%88%87%E6%AF%94%E9%9B%AA%E5%A4%AB%E8%B7%9D%E7%A6%BB
https://zhuanlan.zhihu.com/p/49197590
https://zhuanlan.zhihu.com/p/74363642

總結(jié)

以上是生活随笔為你收集整理的零空间，Markov‘s inequality, Chebyshev Chernoff Bound, Union Bound的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。