얕은 ReLU 신경망을 위한 구조 유도 가우스-뉴턴 방법

본 논문에서는 얕은 ReLU 신경망을 이용한 최소 제곱 문제를 해결하기 위한 구조 유도 가우스-뉴턴(SgGN) 방법을 제안한다. 이 방법은 최소 제곱 구조와 신경망 구조를 모두 효과적으로 활용한다. 은닉층과 출력층의 가중치와 편향을 각각 비선형 및 선형 매개변수로 분류하고, 비선형 매개변수는 감쇠 가우스-뉴턴 방법으로, 선형 매개변수는 선형 솔버로 업데이트한다. 또한 가우스-뉴턴 단계에서 얕은 ReLU 신경망에 대한 특수한 형태의 가우스-뉴턴 행렬을 도출하여 효율적인 반복을 수행한다. 이 행렬들은 합리적인 가정 하에서 대칭이고 양의 정부호이므로 Levenberg-Marquardt 방법과 같은 추가 기법 없이도 역행렬을 구할 수 있다.