核心概念
실험 데이터에 대한 불확실성을 정량화하여 준-베이즈 최적 알고리즘의 성능을 향상시킬 수 있다.
摘要
이 논문은 준-베이즈 최적 알고리즘의 불확실성을 정량화하는 방법을 제안한다.
-
베이지안 모델링은 예측 불확실성을 정량화할 수 있지만, 많은 기계 학습 알고리즘에 대해 베이지안 대응 모델을 구현하기 어렵다.
-
이 연구에서는 기계 학습 알고리즘이 다양한 작업에서 효율적이라는 가정 하에, 태스크 분포에 대한 베이지안 사후 분포를 복원할 수 있음을 보인다.
-
이를 바탕으로 일반적인 기계 학습 알고리즘에 적용할 수 있는 실용적인 불확실성 정량화 방법을 제안한다.
-
다양한 비-신경망 및 신경망 알고리즘에 대한 실험을 통해 제안 방법의 효과를 입증한다.
統計資料
베이지안 사후 분포의 평균 제곱 오차 수준은 O(d/n)이다.
제안 방법의 초과 오차는 베이지안 사후 분포의 평균 제곱 오차보다 높차수로 작다.
제안 방법의 안정성 조건은 알고리즘의 Lipschitz 연속성과 파라미터-분포 간 Wasserstein 거리 관계로 표현된다.
引述
"Bayesian modelling allows for the quantification of predictive uncertainty which is crucial in safety-critical applications."
"Yet for many machine learning (ML) algorithms, it is difficult to construct or implement their Bayesian counterpart."
"We prove that it is possible to recover the Bayesian posterior defined by the task distribution, which is unknown but optimal in this setting, by building a martingale posterior using the algorithm."