1從賭徒的謬誤談起
首先讓我們來看一個有趣的例子：一名賭徒在打賭硬幣是正面朝上或是背面朝上時的情景。如果硬幣正面朝上或朝下確實是隨機的話，那麼該名打賭者在任何一次壓注時贏的概率都是0.5。假設這個人接連賭了5次，每次他都賭硬幣正面朝上，而每次結果卻都是背面朝上。現在他要賭第6次了，他該賭正面朝上還是背面朝上呢？或者說這時硬幣正面朝上的概率大還是背面朝上的概率大呢？顯然，投擲硬幣時連續5次背面朝上是很不尋常的，這樣的事件發生的概率非常低，賭徒注意到了這一點，所以，在下一次壓注時，他加大了籌碼，依然賭了正面向上，在硬幣連續5次背面朝上後，他愈發相信硬幣將正面向上了。結果很不幸，這位打賭者又一次輸了。打賭者的錯誤就在於對概率規律的應用，一枚真的硬幣應該有一半的時候正面朝上，這些規律只有在無數次大量的事件後纔可能成立。對於很少的嘗試次數而言，這些規律不適用。那名賭徒所忽略的是，每次硬幣投擲都是一個獨立事件，前面拋擲中發生的情況對接下來將要發生的事件沒有任何影響。其實，賭徒對於第6次的嘗試不會比前面的5次更有把握。正面朝上的概率依然沒變。從某種程度上講，賭徒的錯誤是很自然的事，他們確實是依據正確的概率規律所作的結論，經過大量的投擲，對一面真正的硬幣而言，的確有50%的結果是正面向上，錯就在把適用於大量事件發生時纔有效的規律運用到了很少的事件上。在6次投擲中全部正面朝上或全部背面朝上並不是絕對不可能，因爲概率還沒有小到可以忽略不計。賭徒的謬誤同樣可能發生在心理學研究中。
科學心理學的目的在於理解人們的所思所想。爲了達成此目的，心理學工作者收集信息和提供理論解釋時使用的是大量的完備技術。正是對這些技術的恰當運用和對所得數據的合理分析構成了科學心理學的支柱。科學方法在心理學研究中的作用是顯而易見的。因爲科學心理學強調經驗觀察，而只有科學方法所確立的信念纔是建立在經驗觀察之上，其他方法所確立的信念都不是建立在經驗基礎上的。經驗觀察的正確方法包括收集數據的科學程序和分析數據的科學程序，因而對數據加以分析的程序——統計的使用和理解在心理學研究中就變得非常關鍵和重要的。正如Wells所言：統計思維的能力有朝一日將如同閱讀與書寫的能力一樣，成爲一名合格公民的必須[1]。但是在心理學研究中存在着大量統計誤用和亂用的現象，其原因是多方面的：有時僅僅是研究者出於某種目的和需要，有時是對統計學本身理解得不透徹、不深入，有時則是由於統計學本身的邏輯性造成的。統計在心理學研究中的重要性不能成爲我們在任何時候任何場合可以誤用或亂用統計學的理由。如果不對這些現象作深入的剖析，如果容忍這樣的錯誤一犯再犯，那麼統計學在心理學研究中的作用越大，造成的後果也就越嚴重。甚至可能爲阻礙心理學的發展。因此要警惕心理學研究中的各種統計誤用和亂用的現象。應該使自己在從事心理學研究時不會因爲不小心而落入統計學的陷阱，也不人爲地爲別人設計統計學陷阱，同時在閱讀他人的研究報告時也要注意不落入別人設下的統計學陷阱。本人把該文定名爲警惕心理學研究中的統計學誤用，其用意也正因爲此。
2心理學研究中常見的統計誤用
統計的方法是如此地有用，以至於有時我們似乎可以藉助統計的方法使任何的觀點站住腳。許多人都用統計來支持他們各自的觀點。難怪有人這樣說，世界上有3種謊言——謊言、該詛咒的謊言和統計。統計會說謊嗎？其實統計本身並不會說謊，但它們卻可以被人利用而給人以誤導。以下是本人認爲容易發生在心理學研究中的一些統計誤用和亂用現象。
2.1小或有偏樣本的使用
在心理學研究中，我們希望利用統計分析推論出普遍的結論，因此我們常常使用大樣本的研究範式。在大樣本研究範式裏，有非常多的被試，因而任何一個不尋常的參與者都不會對結果形成多大影響，這樣我們就可以得到一個相對普遍的結論。大樣本研究設計已經成爲心理學研究的一個標準。因此取樣問題是心理學研究中一個非常重要的問題：我們在對數據作統計分析時就要想一想這些數據是怎麼得來的，它的取樣合理嗎？所有的'統計分析都是建立在數據的取得是合理、正確的前提下，如果取樣不合理，無論多麼高深和精美的統計方法都是無計於事的。合理的樣本、準確的測量是使統計結論正確可靠的前提。但我們在進行研究時，有意無意地，在取樣的合理性問題上總會打折扣。下面兩種取樣的問題在研究中就經常會發生：(1)樣本過小；(2)有偏樣本的使用。許多廣告就會用小樣本或有偏樣本來誤導消費者，比如說在電視上有一位明星說他喜歡喝某一品牌的飲料。廣告商這樣做的目的就是要給大家一個印象，因爲這位明星喜歡這種品牌的飲料，所以所有的人（總體）也會喜歡它。而回歸假象效應這一現象也說明了有偏樣本的使用會導致我們得出錯誤的結論。所謂迴歸假象是指向平均數的迴歸，當我們從總體中挑選出極端分數組進行重測時，第二次測得的分數更接近於整個總體的平均數。我們在研究中經常會使用匹配技術，這時就可能有迴歸假象效應存在。如果在第一次測驗的基礎上對兩組進行匹配，倘若研究者從通常做得很差的組中挑出高分者，從通常做得很好的組中挑出低分者，即使沒有給予兩組不同的實驗處理，研究者仍可以預期他們在第二次測驗中得分會很不同，其原因僅僅是因爲向平均數迴歸。這方面一個典型的例子就是20世紀60年代在美國的一個“領先計劃”研究。因此，無論何時你自己在進行研究和閱讀別人的研究報告時，你都要問兩個有關抽樣的問題：(1)樣本有多大？(2)樣本是如何被選中的？
2.2在統計學的基礎：概率的理解上存在偏差
應用於心理學研究中的定量研究方法大部分是基於概率理論之上的，概率是統計學的基礎。我們藉助於概率達到對未來的預測。如氣象學家會說，明天有80%的機率會下雨，或有20%的可能會下雪。如我們前面提到的賭徒的例子。但倘若我們對概率的理解不透徹，就有可能犯錯誤，賭徒的謬論就是典型的例子。即使給予事件將要發生的先決條件，我們也很難有絕對的把握認爲此事件必然發生，我們所能知道的僅僅是發生機會的比率或是一特定的概率。如根據我們的研究發現具有某一心理特點的人中有90%難以完成某一水準的學業，我們能否就可以據此來預測一個具有這樣心理特點的人就不能完成學業呢[2]？顯然我們並不能得出這樣的結論。基於概率和統計學基礎上得出的結論是從總體中得出的，我們在總結自己的某一研究時，總會這樣表述：從總體上說，什麼是怎麼怎麼樣的……總體上得出的結論在具體用到某一個人身上不能過分絕對化。
鑑於此，人們對大樣本研究範式也提出了批評，認爲個體的心理活動是非常獨特的，這種獨特性並非都能作出普遍的概括。經過充分混合個體分數的“統計磨合機”的加工，這些獨特性就喪失殆盡了。單靠統計未必就能夠抓住事物的本質特徵[3]。斯金納就曾呼籲在操作性研究中使用小樣本設計，因爲他想強調削弱統計分析的重要性。他認爲人們把統計的作用誇大了，統計分析通常被看成了目的而不是幫助實驗者推出實驗結論的工具。
2.3顯著性檢驗問題
衆所周知，統計顯著性檢驗在心理統計學教科書中是作爲推斷統計的重要組成部分而引進的，它和參數估計組成了推斷統計的兩大基石[4]。心理學家有一個約定俗成的規定，即如果統計檢驗的計算表明虛無假設可能正確的概率小於0.05，那麼我們就可以拒絕它而接受另一個假設。因爲拒絕虛無假設可能犯錯誤的機會如此微小，我們有理由認爲這麼做是安全的。簡單地就，推斷統計被用於確定兩種條件的結果差別是由自變量還是隨機因素造成的。如果不同實驗條件下所得的結果之間差異很大，而且這種差異由偶然因素導致的概率低於0.05時，那麼研究者可以排除偶然因素導致該結果的可能性，而認爲結果是自變量造成的。心理學家一般都認爲推斷統計比描述統計更能反映事物的本質，因爲它用了概率論的知識，從樣本數據到總體性質作了科學的推斷。但是簡單的顯著性檢驗在應用中卻會產生這樣或那樣的問題。儘管結論在統計上被認爲是可信的，但由偶然因素（統計信度仍保持5%的錯誤概率）、一些未被注意到的混淆因素、或者實驗者誤差所造成的可能性仍然存在。例如，大多數聰明或大多數低智商的被試碰巧被分在一種條件中。儘管這些可能性不太容易出現，但有時它們確實發生了。
不少人對顯著性檢驗存在誤解，誤認爲經過顯著性檢驗後其科學性就得到了保證，自己的觀點就萬無一失了。但事實上並非如此。近年來，人們對心理學研究中的顯著性檢驗有諸多爭議，Cohen在其著名的《地球是圓的(p＜.05)》[5]一文中對此進行了列舉。有鑑於此，美國心理學會統計推斷特別工作小組發表了《心理學雜誌中的統計方法——指導方針及其解釋》[6]一文，以期引起人們對於顯著性檢驗的思考。流行於研究者間的一句格言是“重複一次抵得上一千次t檢驗”，這句格言的要旨是許多研究者都相信實驗驗證要好於應用於初次實驗結果的推斷統計，這是非常有道理的。
2.4誇大的統計圖
統計作爲一種工具，往往爲受到使用者本人主觀意願的制約。有人曾感嘆統計學家會說話。確實，人們在統計指標的選擇、統計圖表的製作、統計方法的選用上都可能會帶有自己的個人目的，具有一定的功利性。這一點可以從下面的例子中可見一斑。有一所高校近3年內因心理問題而被迫中斷學業的人數從13增加到17、20人，學校的心理諮詢中心爲了呼籲人們對大學生心理健康問題的重視，因而想讓人們知道該校學生的心理問題正變得越來越嚴重，單單因心理問題而中斷學業的人數就在不斷增加，所以他們以年份爲橫座標，以心理問題而中斷學業的人數爲縱座標繪製了一張統計圖，通過把Y軸的標尺拉得很短，使學校心理問題而中斷學業的人數的增加看上去很突出。而學校當局則往往不願意這樣來宣傳自己的學校，於是根據同樣的數據可以繪製了另外一張統計圖，他們通過把Y軸的標尺拉得很長，給人以學校因心理問題而中斷學業的人數相當穩定的感覺。兩張圖顯示的結果都是正確的，但要說明的問題卻大相徑庭。
