連續檢驗的證據量測

核心概念

本文提出了一種連續檢驗的方法,用於量測對假設的證據,而不是採用傳統的二元檢驗方式。這種連續檢驗可以視為隨機檢驗的連續非隨機解釋,提供了隨機檢驗的好處,但沒有外部隨機化的缺點。連續檢驗也可以解釋為對拒絕假設的檢驗數量的直接量測。

摘要

本文提出了一種連續檢驗的方法,用於量測對假設的證據,而不是採用傳統的二元檢驗方式。

首先,作者指出傳統的假設檢驗框架中,二元的拒絕或不拒絕決定並不能反映許多科學研究的實際情況,這些研究通常旨在呈現對假設的證據,而不一定要下定論。

為了解決這個問題,作者提出了連續檢驗的概念,其值域為[0,1]而不是{0,1}。這種連續檢驗可以視為隨機檢驗的連續非隨機解釋,提供了隨機檢驗的好處,但沒有外部隨機化的缺點。連續檢驗也可以解釋為對拒絕假設的檢驗數量的直接量測。

為了使不同顯著性水平α的連續檢驗可以比較,作者提出將檢驗值域從[0,1]重新縮放到[0,1/α]。這使得不同水平的連續檢驗可以通過平均、混合等方式組合。

作者還探討了連續檢驗與e值之間的關係。發現e值可以視為水平α→0的連續檢驗,而水平α>0的連續檢驗對應於域限制在[0,1/α]的e值。

在功效的定義方面,作者指出傳統的最大化拒絕概率目標會導致連續檢驗趨向於二元行為,不利於離開二元檢驗框架。相反,作者提出使用期望對數等廣義平均目標,這可以推广傳統的Neyman-Pearson最優檢驗和對數最優e值,並包含其他選項。

最後,作者探討了p值與連續檢驗之間的關係,指出p值的倒數可以解釋為一種(通常無效的)連續檢驗或證據量測。但在某些特殊情況下,p值可以解釋為在廣義Type I誤差有效條件下的水平p拒絕。

统计

以下是支持作者論點的重要數據:

傳統假設檢驗的二元拒絕或不拒絕決定無法反映許多科學研究的實際情況。
連續檢驗的值域為[0,1],可以視為隨機檢驗拒絕概率的連續解釋。
將連續檢驗值域縮放到[0,1/α]使不同水平的檢驗可以比較和組合。
e值可以視為水平α→0的連續檢驗,而水平α>0的連續檢驗對應於域限制在[0,1/α]的e值。
最大化期望對數等廣義平均目標可以推广傳統的Neyman-Pearson最優檢驗和對數最優e值。
p值的倒數可以解釋為一種(通常無效的)連續檢驗或證據量測,但在某些特殊情況下可以解釋為在廣義Type I誤差有效條件下的水平p拒絕。

引用

"傳統的假設檢驗框架中,二元的拒絕或不拒絕決定並不能反映許多科學研究的實際情況,這些研究通常旨在呈現對假設的證據,而不一定要下定論。"
"連續檢驗可以視為隨機檢驗的連續非隨機解釋,提供了隨機檢驗的好處,但沒有外部隨機化的缺點。"
"e值可以視為水平α→0的連續檢驗,而水平α>0的連續檢驗對應於域限制在[0,1/α]的e值。"
"最大化期望對數等廣義平均目標可以推广傳統的Neyman-Pearson最優檢驗和對數最優e值。"
"p值的倒數可以解釋為一種(通常無效的)連續檢驗或證據量測,但在某些特殊情況下可以解釋為在廣義Type I誤差有效條件下的水平p拒絕。"

从中提取的关键见解

Measuring Evidence with a Continuous Test

by Nick W. Koni... 在 arxiv.org 10-01-2024

https://arxiv.org/pdf/2409.05654.pdf

更深入的查询

除了本文提出的廣義平均目標,是否還有其他可以定義連續檢驗功效的方法?

除了廣義平均目標，還有其他幾種方法可以用來定義連續檢驗的功效。例如，傳統的功效定義通常是基於拒絕虛無假設的概率，這可以通過最大化在替代假設下的期望值來實現。這種方法強調在替代假設成立時，檢驗能夠有效地檢測到差異的能力。此外，還可以考慮使用不同的損失函數來評估檢驗的性能，這樣可以根據具體的應用場景來調整檢驗的風險和收益。例如，使用風險敏感的損失函數可以幫助研究者在不同的情境下選擇最合適的檢驗策略。這些方法的共同點在於，它們都試圖在連續檢驗的框架下，提供一種靈活的方式來評估檢驗的效能。

如何在實際應用中選擇合適的α和h值,以平衡證據收集的風險和收益?

在實際應用中，選擇合適的α和h值是一個關鍵的決策過程，因為這兩個參數直接影響到證據收集的風險和收益。首先，α值的選擇應該考慮到研究的背景和具體的應用需求。較小的α值通常意味著更高的顯著性要求，這可能會降低假陽性的風險，但同時也可能增加假陰性的風險。因此，研究者需要根據研究的具體情況來平衡這兩者之間的取捨。其次，h值的選擇則涉及到對證據收集的風險偏好。較小的h值會使得檢驗結果對數據的變化更加敏感，從而可能導致更高的收益，但同時也伴隨著更大的風險。相反，較大的h值則會使得檢驗結果更加穩定，但可能會降低檢驗的靈敏度。因此，研究者應根據具體的研究目標、數據特性以及風險承受能力來選擇合適的α和h值，以達到最佳的證據收集效果。

連續檢驗的思路是否可以擴展到其他統計推論領域,例如置信區間的構建或貝葉斯推論?

連續檢驗的思路確實可以擴展到其他統計推論領域，例如置信區間的構建和貝葉斯推論。在置信區間的構建中，連續檢驗的概念可以用來評估區間的有效性和可靠性，通過測量證據的強度來調整置信區間的範圍和解釋。此外，連續檢驗的框架也可以與貝葉斯推論相結合，通過引入連續的證據測量來更新後驗分佈，這樣可以在不斷收集數據的過程中動態調整對假設的信念。這種方法不僅能夠提高推論的靈活性，還能夠更好地反映數據的變化和不確定性。因此，連續檢驗的思路在統計推論的多個領域中都有潛在的應用價值，並且可以促進更深入的統計分析和解釋。