核心概念
本文提出了一個新的估計框架「最大理想似然估計器」(MILE),用於具有潛在變量和缺失值的一般參數模型。MILE直接考慮完整數據集的聯合分佈,將潛在變量視為參數(理想似然)。即使傳統方法不適用,MILE仍然有效,並且在一些條件下,MILE與最大似然估計(MLE)在漸近上等價。模擬研究表明,MILE在計算可行性和可擴展性方面優於傳統方法。
摘要
本文提出了一個新的估計框架「最大理想似然估計器」(MILE),用於處理具有潛在變量和缺失值的一般參數模型。
-
傳統方法如期望最大化(EM)算法和馬爾可夫鏈蒙特卡羅(MCMC)方法需要一些技術條件,如對數似然/後驗期望的有限性,在某些情況下可能會失效。
-
MILE通過將潛在變量參數化,同時估計參數和潛在變量。MILE不依賴於期望,即使在傳統方法失效的情況下也可以使用。
-
在一些條件下,MILE與最大似然估計(MLE)在漸近上等價。模擬研究表明,MILE在計算可行性和可擴展性方面優於傳統方法。
-
MILE可以與其他高級技術(如變分推理和近似似然方法)相結合。
-
本文提出了適用於不同情況的數值算法,包括連續潛在變量的梯度下降法和離散潛在變量的遺傳算法。
-
在理論上,本文證明了MILE估計量的一致性和漸近分布,為統計推論和預測提供了基礎。
統計資料
對數似然函數的偏導數為零的條件是:
∂ℓ(Z, θ; X)
∂Z
= 0
∂ℓ(Z, θ; X)
∂θ
= 0
在某些條件下,MILE估計量的漸近分布為:
bθ|( bZ, Z)
d→N(θc, I−1
c )
bθ, bZ
⊤|Z
d→N
(θ, Z)⊤, I−1(θ, Z)
其中I−1
c 和I−1(θ, Z)為相應的信息矩陣。
引述
"MILE直接考慮完整數據集的聯合分佈,將潛在變量視為參數(理想似然)。"
"即使傳統方法不適用,MILE仍然有效,並且在一些條件下,MILE與最大似然估計(MLE)在漸近上等價。"
"模擬研究表明,MILE在計算可行性和可擴展性方面優於傳統方法。"