Conceitos Básicos
클러터 문제에서 관측치가 가우시안 분포와 무관한 클러터의 혼합으로 생성되는 경우, 변분 추론 문제의 ELBO 기울기를 해석적으로 근사하는 방법을 제안한다.
Resumo
이 논문은 클러터 문제에서 관측치가 가우시안 분포와 무관한 클러터의 혼합으로 생성되는 경우, 변분 추론 문제의 ELBO 기울기를 해석적으로 근사하는 방법을 제안한다.
주요 내용은 다음과 같다:
변분 분포가 우도 함수의 가우시안 분포보다 더 compact하게 지지된다는 가정 하에, 개별 우도 함수 인자를 2차 테일러 급수 전개를 통해 지수 2차식으로 근사한다.
이를 통해 기울기 기대값 적분이 해석적으로 계산 가능해진다.
제안된 기울기 근사를 EM 알고리즘의 기대 단계에 통합하여 ELBO를 최대화한다.
라플라스 근사, 기대 전파, 평균장 변분 추론 등 기존 결정론적 접근법과 비교 실험을 수행하여, 제안 방법이 정확도와 수렴 속도 면에서 우수함을 보인다.
Estatísticas
관측치 x는 가우시안 분포 N(μ, σ^2_g)와 무관한 클러터 분포 P_c(x)의 혼합으로 생성된다.
관측치 개수 n = 20, 클러터 확률 w = 0.5, 클러터 분포 P_c(x) = N(x; 0, 10), 가우시안 분포 N(x; 2, 1), 사전 분포 p(μ) = N(μ; 0, 100)
Citações
"변분 추론은 일반적으로 추적 불가능한 베이지안 추론 문제의 주변 우도를 근사하는 실용적이고 결정론적인 대안을 제공한다."
"클러터 문제의 경우 ELBO가 해석적으로 추적 가능하지 않고 근사하기도 어렵다."