핵심 개념
과대매개변수화된 환경에서 노이즈 주입 경사하강법은 손실 함수의 0 손실 집합을 따라 느리게 진화하며, 이는 일반화 성능 향상과 관련이 있다.
초록
이 논문은 노이즈 주입 경사하강법 시스템의 한계 동역학을 광범위한 클래스에 대해 특성화합니다. 과대매개변수화된 환경에서 손실 함수의 0 손실 집합은 큰 차원의 다양체이며, 이 집합 근처에서 초기화된 노이즈 주입 경사하강법 알고리즘은 이 집합을 따라 천천히 진화합니다. 일부 경우 이러한 느린 진화가 더 나은 일반화 성능과 관련이 있다고 알려져 있습니다.
논문은 노이즈의 구조가 한계 과정의 형태뿐만 아니라 진화가 일어나는 시간 척도에도 영향을 미친다는 것을 보여줍니다. 저자들은 드롭아웃, 레이블 노이즈, 클래식 SGD(미니배치)와 같은 다양한 노이즈 주입 방식을 분석하고, 이들이 서로 다른 두 가지 시간 척도에서 진화한다는 것을 보여줍니다. 특히 클래식 SGD는 두 시간 척도에서 모두 사소한 진화만 보이므로, 정규화를 위해서는 추가적인 노이즈가 필요하다는 것을 시사합니다.
이 결과는 신경망 학습에서 영감을 얻었지만, 정리는 0 손실 집합을 가진 임의의 손실 함수에 적용됩니다.
통계
노이즈 주입 경사하강법은 과대매개변수화된 환경에서 손실 함수의 0 손실 집합을 따라 느리게 진화한다.
노이즈의 구조는 한계 과정의 형태뿐만 아니라 진화가 일어나는 시간 척도에도 영향을 미친다.
클래식 SGD는 두 시간 척도에서 모두 사소한 진화만 보이므로, 정규화를 위해서는 추가적인 노이즈가 필요하다.
인용구
"노이즈의 구조는 한계 과정의 형태뿐만 아니라 진화가 일어나는 시간 척도에도 영향을 미친다."
"클래식 SGD는 두 시간 척도에서 모두 사소한 진화만 보이므로, 정규화를 위해서는 추가적인 노이즈가 필요하다."