Core Concepts
Neyman의 반복 표본 추출 프레임워크를 활용하여 기계 학습 알고리즘으로 도출된 개별 치료 규칙의 성능을 실험적으로 평가할 수 있다.
Abstract
이 논문은 Neyman의 반복 표본 추출 프레임워크를 활용하여 개별 치료 규칙(ITR)의 성능을 실험적으로 평가하는 방법을 소개한다.
Neyman의 방법론은 ITR의 특성과 관계없이 적용할 수 있다. ITR이 기계 학습 알고리즘을 통해 도출되었다고 해도 이 방법론을 사용할 수 있다.
ITR의 성능 지표로 Population Average Value(PAV)와 Population Average Prescriptive Effect(PAPE)를 정의하고, 이에 대한 무편향 추정량과 분산을 도출하였다.
기존 실험 설계 방식인 ex-ante 평가와 ex-post 평가를 비교하였다. 일부 가정 하에서 ex-post 평가가 ex-ante 평가보다 통계적으로 더 효율적임을 보였다.
교차 검증(cross-fitting) 기법을 활용하여 ITR을 학습하고 평가하는 경우에도 Neyman의 프레임워크를 적용할 수 있음을 보였다.
이 논문은 Neyman의 고전적인 방법론이 현대 인과 기계 학습 문제에도 여전히 유용함을 보여준다.
Stats
실험 데이터 크기 n이 클수록 ex-post 평가의 표준오차가 ex-ante 평가보다 작다.
예를 들어 n=500일 때 ex-ante 평가의 표준오차가 ex-post 평가의 2배 이상 크다.
Quotes
"Neyman's repeated sampling framework is still relevant for today's causal machine learning methods."
"Neyman's classical methodological framework can be applied to solve today's causal inference problems."