Основные понятия
本論文提出了一種新的遷移學習方法,用於在協變量偏移的情況下,基於廣義估計方程進行統計推斷,並著重解決了協變量數目不同的挑戰。
本論文研究了在協變量偏移遷移學習下,基於廣義估計方程 (GEE) 的參數統計推斷問題。不同於常用的密度比加權方法,本論文提出了一系列公式,通過簡單的推斷即可實現半參數效率。
主要貢獻
構造正交矩函數: 論文提出了一種修正的矩函數,用於協變量偏移下的 GEE 推斷。該函數具有 Neyman 正交性,可以消除密度比函數和條件矩函數估計誤差的一階影響,提高了穩健性。
新的干擾函數估計方法: 論文提出了新的密度比函數和條件矩函數估計方法,可以使用包括深度學習在內的各種非參數工具。其中,密度比函數通過散度最小化方法估計,而條件矩函數則採用非參數多重插補策略,避免了在所有可能的參數值下進行回歸。
基於經驗似然法的推斷: 論文採用經驗似然法進行推斷,證明了所提出的估計量達到了半參數效率界,並且可以使用 Wilks 定理進行推斷。
方法概述
密度比估計: 論文採用基於 ϕ 散度的對偶特徵方法直接估計密度比,並通過經驗風險最小化問題求解,可以使用多種機器學習算法。
條件密度估計和多重插補: 論文提出了一種新的條件密度估計方案,可以容納廣泛的非參數方法。通過估計條件密度函數,並使用多重插補方法,可以避免在所有可能的參數值下進行回歸,從而簡化了條件矩函數的估計。
經驗似然推斷: 論文使用正交矩函數和估計的干擾函數,通過經驗似然法進行參數推斷,並證明了所提出的估計量具有雙重穩健性和半參數效率。
優點
相比於傳統的密度比加權方法,本論文提出的方法對干擾函數估計誤差更加穩健。
論文提出的方法可以靈活地使用現代機器學習算法進行干擾函數估計。
基於經驗似然法的推斷可以使用 Wilks 定理,方便了推斷過程。
局限性
論文的理論結果沒有考慮樣本分割,可能存在過度擬合的風險。
論文假設條件密度函數具有 β2 平滑性,這在實際應用中可能不成立。