Centrala begrepp
우리는 사적 제약 하에서 고차원 희소 선형 회귀 모델에 대한 모델 선택 문제를 고려한다. 우리는 잘 알려진 지수 메커니즘을 채택하여 강력한 유용성 특성을 가진 사적 최적 부분집합 선택 방법을 제안한다. 또한 우리는 효율적인 메트로폴리스-해스팅스 알고리즘을 제안하고 그것이 정상 분포에 대한 다항식 혼합 시간을 가짐을 보인다. 마지막으로 우리는 우리 알고리즘의 강력한 유용성을 보여주는 몇 가지 예시 실험을 수행한다.
Sammanfattning
이 논문은 사적 제약 하에서 고차원 희소 회귀 모델에 대한 모델 선택 문제를 다룬다. 주요 내용은 다음과 같다:
-
지수 메커니즘을 채택하여 사적 최적 부분집합 선택 방법을 제안하고, 높은 사적 수준에서 좋은 통계적 또는 유용성 보장을 확립한다.
-
낮은 사적 수준에서는 비사적 설정에서의 최적 모델 복구 속도와 일치하는 모델 복구가 가능함을 보인다. 따라서 이 논문은 다른 사적 수준에 걸쳐 신호 강도 요구 사항의 변곡점을 지적한다.
-
또한 정상 분포와 일치하는 샘플링 분포를 생성하는 MCMC 체인을 설계하고, 이 MCMC 체인도 (근사적) 사적 보장을 누린다는 것을 보인다. 더 나아가 특정 정규성 조건 하에서 이 MCMC 체인이 (n, p, s)의 다항식 혼합 시간을 가짐을 보인다.
요약하면, 이 논문은 강력한 모델 복구 특성과 다항식 시간 내에서 작동하는 사적 모델 선택 알고리즘을 제안한다.
Statistik
표본 크기 n = 900
특성 개수 p = 2000
진짜 희소성 s = 4
노이즈 w는 Uniform(-0.1, 0.1) 분포에서 독립적으로 생성
강한 신호: βj = 2{(s log p)/n}1/2
약한 신호: βj = 2{(log p)/n}1/2
Citat
"우리는 사적 제약 하에서 고차원 희소 선형 회귀 모델에 대한 모델 선택 문제를 고려한다."
"우리는 잘 알려진 지수 메커니즘을 채택하여 강력한 유용성 특성을 가진 사적 최적 부분집합 선택 방법을 제안한다."
"우리는 효율적인 메트로폴리스-해스팅스 알고리즘을 제안하고 그것이 정상 분포에 대한 다항식 혼합 시간을 가짐을 보인다."