핵심 개념
베이지안 신경망에서 평평한 손실 영역에 위치한 모델 파라미터를 찾는 것은 효과적인 베이지안 모델 평균(BMA)과 향상된 일반화 성능을 위해 중요하다.
초록
베이지안 모델 평균에서 평평한 사후 분포의 중요성 분석
제목: FLAT POSTERIOR DOES MATTER FOR BAYESIAN MODEL AVERAGING
저자: Sungjun Lim, Jeyoon Yeom, Sooyon Kim, Hoyoon Byun, Jinho Kang, Yohan Jung, Jiyoung Jung, Kyungwoo Song
출처: ICLR 2025
본 연구는 베이지안 신경망(BNN)에서 손실 함수의 평평도가 베이지안 모델 평균(BMA)의 효과에 미치는 영향을 실증적으로 분석하고, 평평한 사후 분포를 효과적으로 찾아 BMA의 성능을 향상시키는 새로운 최적화 기법을 제안한다.