핵심 개념
입력-기울기 공간에서 다양성을 증진하는 FoRDE 앙상블 학습 방법 소개
초록
ICLR 2024 학회 논문
Deep Ensembles (DEs)의 문제점과 FoRDE의 솔루션 제시
입력 기울기의 다양성이 앙상블의 성능 향상에 기여하는 방법 제시
실험 결과를 통해 FoRDE가 DEs 및 다른 앙상블 방법을 능가하는 것을 입증
통계
가중치 공간에서의 반발력은 과도한 매개변수화로 비효율적
입력 기울기의 다양성은 각 네트워크가 다른 기능을 학습하도록 장려
인용구
"FoRDE는 DEs 및 다른 앙상블 방법을 정확도 및 보정에서 크게 능가한다."
"입력 기울기의 다양성은 앙상블의 기능적 다양성을 향상시킨다."