Conceitos essenciais
베이지안 신경망에서 평평한 손실 영역에 위치한 모델 파라미터를 찾는 것은 효과적인 베이지안 모델 평균(BMA)과 향상된 일반화 성능을 위해 중요하다.
Resumo
베이지안 모델 평균에서 평평한 사후 분포의 중요성 분석
제목: FLAT POSTERIOR DOES MATTER FOR BAYESIAN MODEL AVERAGING
저자: Sungjun Lim, Jeyoon Yeom, Sooyon Kim, Hoyoon Byun, Jinho Kang, Yohan Jung, Jiyoung Jung, Kyungwoo Song
출처: ICLR 2025
본 연구는 베이지안 신경망(BNN)에서 손실 함수의 평평도가 베이지안 모델 평균(BMA)의 효과에 미치는 영향을 실증적으로 분석하고, 평평한 사후 분포를 효과적으로 찾아 BMA의 성능을 향상시키는 새로운 최적화 기법을 제안한다.