이 논문은 그로킹 현상에 대한 새로운 경험적 증거를 제시한다.
첫째, 신경망 이외의 모델인 가우시안 프로세스 분류와 선형 회귀에서도 그로킹이 발생함을 보였다. 이는 현재 이론으로는 설명할 수 없는 새로운 발견이다.
둘째, 데이터에 스퓨리어스 차원을 추가하는 은폐(concealment) 데이터 증강 기법을 제안했다. 이 기법은 다양한 알고리즘 데이터셋에서 그로킹을 일관되게 유발할 수 있으며, 그로킹의 정도가 추가 차원의 수에 따라 지수적으로 증가하는 경향을 보였다.
셋째, 복잡도와 오차에 의해 해결책 탐색이 이루어지는 경우 그로킹이 발생할 수 있는 메커니즘을 제안했다. 이 메커니즘은 신경망 이외의 모델에서 관찰된 그로킹 현상을 설명할 수 있다.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Jack Miller,... a las arxiv.org 04-02-2024
https://arxiv.org/pdf/2310.17247.pdfConsultas más profundas