第一型錯誤率通常不會被誇大

核心概念

與普遍看法相反， questionable research practices （例如 p-hacking）和其他研究實務（例如模型錯誤指定、探索性分析）通常不會誇大相關的第一型錯誤率，因為它們通常會導致理論上的誤解，而不是統計錯誤。

摘要

書目資訊

Rubin, M. (2024). 第一型錯誤率通常不會被誇大。試錯期刊。https://doi.org/10.36850/4d35-44bd

研究目標

本文旨在挑戰科學界普遍認為 questionable research practices 會誇大第一型錯誤率的觀點。作者認為，雖然第一型錯誤可能會導致某些研究結果無法複製，但錯誤率的誇大現象相對罕見，而且通常是理論上的錯誤，而非統計上的錯誤。

主要論點

• 第一型錯誤率的定義是基於一個理想化的情況，即隨機抽樣誤差是影響研究人員決策的唯一錯誤來源。
• questionable research practices （例如 p-hacking）和其他研究實務（例如模型錯誤指定、探索性分析）可能會導致理論上的誤解，但它們通常不會影響實際的第一型錯誤率。
• 研究人員經常將統計錯誤與理論錯誤混淆，並錯誤地認為他們的第一型錯誤率代表了在現實世界中錯誤拒絕實質虛無假設的可能性。
• 作者主張採用邏輯推論的方法來評估第一型錯誤率，該方法側重於假設和證據之間的邏輯關係，而不考慮其心理起源或研究人員的偏見。

文章結構

文章首先介紹了第一型錯誤率的概念，並區分了統計錯誤和理論錯誤。然後，作者探討了一系列被認為會誇大第一型錯誤率的 questionable research practices 和其他研究實務，包括：

• 模型錯誤指定
• 多重比較
• 選擇性推論
• 分叉路徑
• 探索性分析
• p-hacking
• 可選停止規則
• 雙重探測
• HARKing

對於每種情況，作者都證明了相關的第一型錯誤率通常不會被誇大到其名義水平以上，即使在極少數情況下確實發生了誇大，也很容易識別和解決。

文章結論

作者得出結論，複製危機可能至少部分是由於研究人員對統計錯誤的誤解以及他們對理論錯誤的低估造成的。作者主張採用更嚴謹的統計推論方法，並更加重視理論解釋的嚴謹性，以提高科學研究的可複製性。

統計資料

引述

“questionable research practices 被認為會誇大實際的第一型錯誤率，使其超過 0.050 的名義常規水平，導致文獻中出現出乎意料的高水平的假陽性，從而導致出乎意料的低複製率。”
“我的論點與科學和統計哲學是一致的，這些哲學認為，在獨立於其心理起源的辯護背景下，假設和其檢驗結果之間的邏輯關係，包括在發現背景下的研究人員偏見（Popper，1962，p. 140；Popper，2002 p. 7；Reichenbach，1938，p. 5）。”
“簡而言之，第一型錯誤率膨脹在多重檢驗中既不常見也不成問題。”

從以下內容提煉的關鍵洞見

Type I Error Rates are Not Usually Inflated

by Mark Rubin 於 arxiv.org 11-19-2024

https://arxiv.org/pdf/2312.06265.pdf

深入探究

如何區分理論誤差和統計誤差在實證研究中的影響？

在實證研究中，區分理論誤差和統計誤差至關重要，因為它們代表著不同類型的研究缺陷，需要不同的策略來解決。
理論誤差源於研究設計和解釋中存在的概念性或邏輯性錯誤，這些錯誤可能導致即使統計分析正確無誤，研究結果也無法支持研究者的結論。常見的理論誤差包括：

理論建構錯誤: 對研究現象的理論理解存在偏差，導致提出錯誤的研究問題或假設。
操作化錯誤: 未能將抽象的理論概念轉化為可測量的變數，或所選用的測量工具無法準確反映所要測量的概念。
混淆變項: 未能控制可能影響自變項和依變項關係的外部因素，導致研究結果無法明確歸因於研究者所感興趣的因素。
研究方法限制: 所選用的研究方法存在局限性，無法有效地回答研究問題。
統計誤差則是由於數據的隨機性和變異性所導致的，即使研究設計和理論解釋完全正確，也無法完全避免。常見的統計誤差包括：

第一型錯誤 (Type I error): 錯誤地拒絕了實際上為真的虛無假設，導致得出錯誤的陽性結果。
第二型錯誤 (Type II error): 未能拒絕實際上為假的虛無假設，導致得出錯誤的陰性結果。
抽樣誤差: 由於研究樣本無法完全代表目標群體，導致研究結果存在偏差。
測量誤差: 由於測量工具的不穩定性或測量過程中的誤差，導致數據存在偏差。
區分理論誤差和統計誤差的影響可以參考以下幾個方面：

錯誤的性質: 理論誤差是概念性和邏輯性的，而統計誤差是數值和概率性的。
影響範圍: 理論誤差會影響整個研究的有效性和結論的可信度，而統計誤差主要影響研究結果的準確性和推論的可靠性。
解決方案: 解決理論誤差需要改進研究設計、理論框架和數據解釋，而解決統計誤差則需要採用更嚴謹的統計方法、更大的樣本量和更精確的測量工具。
總之，理論誤差和統計誤差都是實證研究中需要重視的問題，區分它們的影響有助於研究者採取更有針對性的措施來提高研究質量。

如果 questionable research practices 並沒有顯著影響第一型錯誤率，那麼是否存在其他因素導致了複製危機？

雖然 questionable research practices (QRPs) 對第一型錯誤率的影響可能不如預期顯著，但複製危機的產生並非單一因素造成的，其他可能的原因包括：

出版偏誤: 學術期刊傾向於發表具有顯著結果的研究，導致發表的研究結果存在系統性偏差，而那些未能複製的研究或陰性結果則難以得到發表。
低統計功效: 許多研究的樣本量過小，導致統計功效不足，難以檢測到真實存在的效應，即使效應存在，也可能因為統計功效不足而被遺漏。
效應量異質性: 不同研究之間的效應量可能存在差異，這可能是由於研究方法、樣本特徵、文化背景等因素造成的，這種異質性會導致複製結果不一致。
理論誤差: 如前所述，理論誤差會嚴重影響研究結果的可信度，如果原始研究存在理論誤差，那麼即使統計分析正確，複製研究也難以得到相同的結果。
研究環境差異: 科學研究的環境和條件會隨著時間推移而發生變化，這可能導致即使採用相同的實驗方法，也難以完全複製原始研究的結果。
除了上述因素外，複製危機也反映了科學社群的一些深層次問題：

對顯著性檢驗的過度依賴: 長期以來，科學社群過於重視 p 值和顯著性檢驗，而忽視了效應量、信賴區間等更具實質意義的指標。
缺乏對複製研究的重視: 與發表原創性研究相比，複製研究得到的學術獎勵和認可度較低，導致研究者不願意投入時間和精力進行複製研究。
數據和方法的透明度不足: 許多研究缺乏數據和方法的公開共享，導致其他研究者難以評估研究結果的可信度或進行複製研究。

科學社群應該採取哪些措施來解決理論誤差的問題，並提高科學研究的嚴謹性？

為了應對理論誤差的挑戰，並提高科學研究的嚴謹性，科學社群可以採取以下措施：
1. 加強對理論建構的重視:

鼓勵研究者深入思考研究問題的理論基礎，並明確闡述研究假設的邏輯推理過程。
推廣採用更嚴謹的理論建模方法，例如計算模型、形式化模型等，以提高理論的精確性和可檢驗性。
加強不同理論之間的比較和整合，促進理論的發展和完善。
2. 提高研究設計和方法的嚴謹性:

鼓勵採用更強的研究設計，例如隨機對照試驗、準實驗設計等，以減少混淆變項的影響。
推廣預註冊研究，即在收集數據之前就公開研究計劃和分析方案，以減少研究者自由度和結果偏差。
鼓勵採用多樣化的研究方法，例如定量研究和定性研究相結合，以更全面地理解研究現象。
3. 促進數據和方法的透明度:

推廣數據公開共享，允許其他研究者驗證研究結果、進行後續分析或開展複製研究。
鼓勵研究者詳細描述研究方法和步驟，提高研究的可複製性。
開發和使用標準化的數據收集和分析工具，提高研究結果的可比性。
4. 改變學術評價體系:

減少對 p 值和顯著性檢驗的過度依賴，鼓勵關注效應量、信賴區間等更具實質意義的指標。
提高複製研究的學術地位和認可度，鼓勵研究者積極開展複製研究。
將數據和方法的透明度作為學術評價的重要指標，獎勵那些公開共享數據和方法的研究者。
5. 加強科學倫理教育:

提高研究者對 QRPs 的認識，並教育他們避免這些行為。
加強對數據捏造、篡改和抄襲等學術不端行為的懲處力度。
培養研究者的科學責任感和嚴謹治學的態度。
總之，解決理論誤差問題、提高科學研究的嚴謹性需要科學社群的共同努力，通過採取多方面的措施，才能重建公眾對科學研究的信任，促進科學的健康發展。