统计学基础--假设检验
假設檢驗
1、假設檢驗的由來
我們先看一個例子:
那么如何檢驗這位女士的說法呢?FISHER進行了研究,從而提出了假設檢驗的思想。
比如:
正常情況下我們去猜先倒茶還是先倒牛奶的話,概率應該是1/2,
1.總共檢驗了兩杯,全部猜對的概率是:0.5??0.5=0.25,雖然概率很低,但是也算正常;
2.繼續猜,又猜了兩次,也全部猜對了幾率是=0.0625,這個概率明顯是非常低了,有點不正常了,但是會不會還是運氣呢?
3.我們繼續猜,加大樣本,如果連續猜對10杯,那么我認為這位女士確實有特殊的能力。
雖然我們上面說猜對10杯來確認這位女士有特殊能力,這只是我們的臆測,我們假設一個x,當這位女士能夠猜對x杯才認為這位女士確實有特殊的能力,其實對于我們最難的是來確認著x。
下面我們就來看一下怎么樣來確認這個x。
2、什么是假設檢驗
假設檢驗(Hypothesis Testing):是推斷統計的最后一步,是依據一定的假設條件由樣本推斷總體的一種方法。
你提出你的假設:說你有特殊的能力,可以品出先倒茶還是牛奶;
我提出要檢驗你的假設:品十(x)杯,看實驗結果是不是和你說的假設相符
假設檢驗的基本思想是小概率反證法思想,小概率思想認為小概率事件在一次試驗中基本上不可能發生,在這個方法下,我們首先對總體作出一個假設,這個假設大概率會成立,如果在一次試驗中,試驗結果和原假設相背離,也就是小概率事件竟然發生了,那我們就有理由懷疑原假設的真實性,從而拒絕這一假設。
假設檢驗其實就是假設和檢驗兩步,先提出假設,之后再來驗證假設是不是合理的。
3、P值
為了完成假設檢驗,需要先定義一個概念:P值。
根據上面的描述,這里假設檢驗的思路就是:
?假設:這位女士不能準確的猜出先倒茶還是牛奶(沒有確鑿證據一般不推翻的假設,正常情況下我們都不能猜出先倒茶還是牛奶,所以我們假設這位女士不能準確的猜出先倒茶還是牛奶)
檢驗:認為假設是成立的,然后猜十次,看結果與假設是否相符
猜奶茶的實驗應該符合二項分布(這就不解釋了),也就是:
X~(n,)? ? ? ? ??其中,n代表猜的次數,u代表猜對的概率。
在我們認為猜之前沒有泄密(也就是確實是憑自己的嗅覺去猜)的前提下,猜10次應該符合以下分布:
X~(10,0.5)?
下圖表示的就是,假如猜是公平的情況下的分布圖:
P=??* ()* () =0.0439
也就是說猜10次能猜對8次的概率是0.0439
為了方便大家計算,附上python代碼:
import operator from functools import reduce def c(n,k):return reduce(operator.mul, range(n - k + 1, n + 1)) /reduce(operator.mul, range(1, k +1))def fac(n):return reduce(operator.mul, range(1,n+1))print (c(10,8)) print (fac(5))把八次猜對概率,與更極端的九次猜對、十次猜對的概率加起來:
為什么要把更極端的情況加起來?
根據猜奶茶這個例子,可能你會覺得,我知道八次猜對出現不正常就行了,干嘛要把九次、十次加起來?
比如我們要猜1000次用二項分布來計算很麻煩,根據中心極限定理,我們知道,可以用正態分布來近似:
但是,對于正態分布,我沒有辦法算單點的概率(連續分布單點概率為0),我只能取一個區間來算極限,所以就取530、以及更極端的點組成的區間:
(我上面只取了單側P值,說明下:取單側還是雙側,取決于你的應用,什么叫做更極端的點,也取決于你的應用)
3.1、單側檢驗
-
當關鍵詞有不得少于/低于的時候用左側,比如燈泡的使用壽命不得少于/低于700小時時
當關鍵詞有不得多于/高于的時候用右側,比如次品率不得多于/高于5%時
3.2 雙側檢驗
-
單側檢驗指按分布的一側計算顯著性水平概率的檢驗。用于檢驗大于、小于、高于、低于、優于、劣于等有確定性大小關系的假設檢驗問題。這類問題的確定是有一定的理論依據的。假設檢驗寫作:μ1<μ2或μ1>μ2。
-
雙側檢驗指按分布兩端計算顯著性水平概率的檢驗, 應用于理論上不能確定兩個總體一個一定比另一個大或小的假設檢驗。一般假設檢驗寫作H1:μ1≠μ2。
4、顯著水平
總共猜10次,那么是出現7次猜對,可以認為有特殊能力,還是9次猜對之后我才能確認有特殊能力,這是一個較為主觀的標準。
我們一般認為
P-value<=0.05
就可以認為假設是不正確的。
0.05這個標準就是顯著水平,當然選擇多少作為顯著水平也是主觀的。
比如,我們猜奶茶的例子,如果取單側P值,那么根據我們的計算,如果10次猜對9次:
P-value=P(9<=X<=10)=0.01<=0.05
我們可以認為剛開始的假設(這位女士不能準確的猜出先倒茶還是牛奶)錯的很“顯著”,也就是是有特殊能力的。
5、假設檢驗步驟
我們回顧下我們剛才所說的,總結下:
這里簡單說下檢驗統計量?
檢驗統計量是用于假設檢驗計算的統計量。在零假設情況下,這項統計量服從一個給定的概率分布,而這在另一種假設下則不然。從而若檢驗統計量的值落在上述分布的臨界值之外,則可認為前述零假設未必正確。統計學中,用于檢驗假設量是否正確的量。常用的檢驗統計量有t統計量,Z統計量等。
6、實例
我們這里舉2個例子:
首先我們先引入一個檢驗統計量分布的選擇規則
例1:
某機床廠加工一種零件,根據經驗知道,該廠加工零件的橢圓度近似服從正態分布,其總體均值為μ=0.081mm,總體標準差為σ= 0.025 。今換一種新機床進行加工,抽取n=200個零件進行檢驗,得到的橢圓度為0.076mm。試問新機床加工零件的橢圓度的均值與以前有無顯著差異?(α=0.05)
?我們知道總體均值和總體方差,根據上圖的規則可以看出我們可以用Z統計量:
例2:
以往通過大規模調查已知某地新生兒出生體重為3.30kg。從該地難產兒中隨機抽取35名新生兒,平均出生體重為3.42kg,標準差為0.40kg,問該地難產兒出生體重是否與一般新生兒體重不同?
本例自由度v=n-1=35-1=34,查表得得t0.05/2,34=2.032。 因為t < t0.05/2,34,故P>0.05,按 α=0.05水準,不拒絕H0,差別無統計學意義,尚不能認為該地難產兒與一般新生兒平均出生體重不同。
以上就是對假設檢驗思想的一個簡單介紹,其實對于理論的介紹理解起來比較晦澀,就像我們用1+1=2很簡單,要是理解1+1為什么等于2就難了。假設檢驗在運用的時候就像最后的兩個例子,其實是很簡單的,但是對于理論的理解就需要比較長的時間。
歡迎關注微信公眾號:
總結
以上是生活随笔為你收集整理的统计学基础--假设检验的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Rundll32
- 下一篇: 轻应用框架, Clouda先行