이 논문은 신경망이 원래 학습 분포와 다른 데이터에 대해 과신뢰 오류를 보이는 문제를 해결하기 위한 방법을 제안한다.
먼저, 손실 함수의 기울기 정규화를 통해 국소적 정보를 학습하는 방법을 제안한다. 이는 신경망이 단순히 점수 함수의 값만을 최적화하는 것이 아니라 그 주변의 국소적 행동도 고려하도록 한다. 이를 통해 신경망이 더 부드러운 점수 함수 manifold를 학습할 수 있게 된다.
또한, 분포 외 데이터셋이 매우 크거나 다양할 경우 효과적인 샘플링이 중요해진다. 이를 위해 에너지 기반 클러스터링 방법을 제안한다. 이 방법은 클러스터링을 통해 다양한 영역의 데이터를 선택하고, 에너지 점수를 기반으로 정보적인 샘플을 선택한다.
실험 결과, 제안한 방법인 GReg와 GReg+가 다양한 벤치마크에서 기존 최신 방법들을 능가하는 성능을 보였다. 또한 이론적 분석을 통해 기울기 정규화가 국소 리프쉬츠 상수를 줄여 더 강건한 모델을 만들 수 있음을 보였다.
Іншою мовою
із вихідного контенту
arxiv.org
Ключові висновки, отримані з
by Sina Sharifi... о arxiv.org 04-19-2024
https://arxiv.org/pdf/2404.12368.pdfГлибші Запити