核心概念
신경망 이외의 모델에서도 그로킹 현상이 발생하며, 데이터 증강을 통해 그로킹을 유도할 수 있다. 또한 복잡도와 오차에 의해 해결책 탐색이 이루어지는 경우 그로킹이 발생할 수 있는 메커니즘을 제안한다.
摘要
이 논문은 그로킹 현상에 대한 새로운 경험적 증거를 제시한다.
첫째, 신경망 이외의 모델인 가우시안 프로세스 분류와 선형 회귀에서도 그로킹이 발생함을 보였다. 이는 현재 이론으로는 설명할 수 없는 새로운 발견이다.
둘째, 데이터에 스퓨리어스 차원을 추가하는 은폐(concealment) 데이터 증강 기법을 제안했다. 이 기법은 다양한 알고리즘 데이터셋에서 그로킹을 일관되게 유발할 수 있으며, 그로킹의 정도가 추가 차원의 수에 따라 지수적으로 증가하는 경향을 보였다.
셋째, 복잡도와 오차에 의해 해결책 탐색이 이루어지는 경우 그로킹이 발생할 수 있는 메커니즘을 제안했다. 이 메커니즘은 신경망 이외의 모델에서 관찰된 그로킹 현상을 설명할 수 있다.
統計資料
복잡도 증가에 따라 그로킹 격차가 지수적으로 증가한다.
선형 회귀 모델에서 그로킹이 발생하기 위해서는 가중치 감소와 같은 정규화가 필요하다.
가우시안 프로세스 분류에서 그로킹이 발생하기 위해서는 복잡도 페널티가 필요하다.
引述
"그로킹은 신경망에 국한되지 않고 가우시안 프로세스 분류, 가우시안 프로세스 회귀, 선형 회귀 및 베이지안 신경망에서도 발생한다."
"데이터에 스퓨리어스 차원을 추가하는 은폐 데이터 증강 기법을 제안했으며, 이 기법은 다양한 알고리즘 데이터셋에서 그로킹을 일관되게 유발할 수 있다."
"복잡도와 오차에 의해 해결책 탐색이 이루어지는 경우 그로킹이 발생할 수 있는 메커니즘을 제안했다."