登入
洞見 - 그로킹 현상
신경망을 넘어선 그로킹: 모델 복잡도에 대한 경험적 탐구
신경망 이외의 모델에서도 그로킹 현상이 발생하며, 데이터 증강을 통해 그로킹을 유도할 수 있다. 또한 복잡도와 오차에 의해 해결책 탐색이 이루어지는 경우 그로킹이 발생할 수 있는 메커니즘을 제안한다.
신경망 학습 동역학의 게으른 모드에서 풍부한 모드로의 전환으로서의 그로킹
그로킹 현상은 신경망이 학습 초기에는 훈련 데이터에 대한 손실을 빠르게 감소시키지만 일반화 성능은 늦게 향상되는 것을 의미한다. 이는 신경망이 초기에는 선형 모델 동역학(게으른 모드)을 따르다가 나중에 특징 학습 동역학(풍부한 모드)으로 전환되기 때문에 발생한다.
