無論從事何種領(lǐng)域的科學(xué)研究還是統(tǒng)計(jì)調(diào)查,顯著性檢驗(yàn)作為判斷兩個(gè)乃至多個(gè)數(shù)據(jù)集之間是否存在差異的方法統(tǒng)計(jì)學(xué)中卡方檢驗(yàn)和p值的關(guān)系,一直被廣泛應(yīng)用。筆者并非統(tǒng)計(jì)學(xué)專業(yè)出身,一直以來對(duì)顯著性檢驗(yàn)的原理及應(yīng)用困惑不解。
“顯著性檢驗(yàn)”的英文名稱是“ test”。在統(tǒng)計(jì)學(xué)中,顯著性檢驗(yàn)是“統(tǒng)計(jì)假設(shè)檢驗(yàn)”( )的一種,顯著性檢驗(yàn)是 檢測(cè)科學(xué)實(shí)驗(yàn)中的實(shí)驗(yàn)組與對(duì)照組之間是否存在差異以及差異是否顯著的辦法。 “統(tǒng)計(jì)假設(shè)檢驗(yàn)”指出了“顯著性檢驗(yàn)”的前提條件是“統(tǒng)計(jì)假設(shè)”統(tǒng)計(jì)學(xué)中卡方檢驗(yàn)和p值的關(guān)系,換言之“無假設(shè),不檢驗(yàn)”。 任何人在使用顯著性檢驗(yàn)之前必須知道假設(shè)是什么。 一般而言,把要檢驗(yàn)的假設(shè)稱之為原假設(shè),記為H0,把與H0相對(duì)應(yīng)的假設(shè)稱之為備擇假設(shè),記為H1。
如果原假設(shè)為真,而檢驗(yàn)的結(jié)論卻勸你放棄原假設(shè),此時(shí),我們把這種錯(cuò)誤稱之為第一類錯(cuò)誤。通常把第一類錯(cuò)誤出現(xiàn)的概率記為 。
如果原假設(shè)不為真,而檢驗(yàn)的結(jié)論卻勸你接受原假設(shè)。此時(shí),我們把這種錯(cuò)誤稱之為第二類錯(cuò)誤,通常第二類錯(cuò)誤出現(xiàn)的概率記為 。
通常只限定犯第一類錯(cuò)誤的最大概率α, 不考慮犯第二類錯(cuò)誤的概率β。我們把這樣的假設(shè)檢驗(yàn)稱為顯著性檢驗(yàn),概率α稱為顯著性水平。顯著性水平是數(shù)學(xué)界約定俗成的,一般有α =0.05,0.025.0.01這三種情況。代表著顯著性檢驗(yàn)的結(jié)論錯(cuò)誤率必須低于5%或2.5%或1%(統(tǒng)計(jì)學(xué)中,通常把在現(xiàn)實(shí)世界中發(fā)生幾率小于5%的事件稱之為“不可能事件”)。
因?yàn)槲覀兿胍袛鄻颖九c我們對(duì)總體所做的假設(shè)之間的差異是純屬機(jī)會(huì)變異,還是由我們所做的假設(shè)與總體真實(shí)情況之間不一致所引起的。
卡方檢驗(yàn)(Chi- Test)在大數(shù)據(jù)技術(shù)場(chǎng)景中,通常用來檢驗(yàn)?zāi)硞€(gè)變量或特征是不是和應(yīng)變量有顯著關(guān)系。
舉例,我們要觀察性別和在線買不買生鮮食品有沒有關(guān)系。通過在線上生鮮市場(chǎng)收集數(shù)據(jù),得到下面的表格:
觀察到的現(xiàn)象:
通過上表我們發(fā)現(xiàn)有66%(599/907)的人不在線上購買生鮮,34%的人線上購買生鮮,根據(jù)這一比例,我們可以得到男女不同性別是否線上購買生鮮的理論分布數(shù)據(jù):
卡方的計(jì)算公式:
自由度:(行數(shù)-1)*(列數(shù)-1)=1
置信度:90%
查表格的:性別與是否線上購買生鮮是有關(guān)系的。
假設(shè)檢驗(yàn)是推斷統(tǒng)計(jì)中的一項(xiàng)重要內(nèi)容,在假設(shè)檢驗(yàn)中長常見到P值(P-value,Pr),P值是進(jìn)行檢驗(yàn)決策的一個(gè)重要依據(jù)。
P值即概率,是反映某一事件發(fā)生的可能性大小。在統(tǒng)計(jì)學(xué)中根據(jù)顯著性檢驗(yàn)得到的P值,一般以P 計(jì)算出P值后,將給定的α與P 值比較,就可作出檢驗(yàn)的結(jié)論:
如果α > P值,則在顯著性水平α下拒絕原假設(shè)。
如果α ≤ P值,則在顯著性水平α下不拒絕原假設(shè)。
從某總體中抽
⑴、這一樣本是由該總體抽出,其差別是由抽樣誤差所致;
⑵、這一樣本不是從該總體抽出,所以有所不同。
如何判斷是那種原因呢?統(tǒng)計(jì)學(xué)中用顯著性檢驗(yàn)來判斷。其步驟是:
⑴、建立檢驗(yàn)假設(shè)(又稱無效假設(shè),符號(hào)為H0):如要比較A藥和B藥的療效是否相等,則假設(shè)兩組樣本來自同一總體,即A藥的總體療效和B藥相等,差別僅由抽樣誤差引起的碰巧出現(xiàn)的。⑵、選擇適當(dāng)?shù)慕y(tǒng)計(jì)方法計(jì)算H0成立的可能性即概率有多大,概率用P值表示。⑶、根據(jù)選定的顯著性水平(0.05或0.01),決定接受還是拒絕H0。如果P>0.05,不能否定“差別由抽樣誤差引起”,則接受H0;如果P