이 연구는 그래프 신경망에서 과도한 평활화와 과도한 상관관계의 근본 원인을 밝혔다. 구체적으로 다음과 같은 주요 발견이 있다:
그래프 신경망의 노드 표현은 집계 함수의 고유벡터에 의해 지배되는 저차원 부공간에 의해 지배된다. 이는 특징 변환과 무관하다.
모든 집계 함수에 대해 노드 표현의 순위가 붕괴되어, 특정 집계 함수에서 과도한 평활화가 발생한다.
순위 붕괴는 과도한 평활화와 과도한 상관관계의 근본 원인이다. 이는 그래프 신경망의 표현력을 심각하게 제한한다.
크로네커 곱의 합 (SKP)은 순위 붕괴를 방지할 수 있는 일반적인 속성을 제공한다. 이를 통해 복잡한 타겟 함수를 학습할 수 있음을 실험적으로 확인했다.
이 연구는 그래프 신경망의 근본적인 한계를 밝히고, 이를 해결할 수 있는 새로운 접근법을 제안했다는 점에서 의의가 있다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Andreas Roth... at arxiv.org 09-19-2024
https://arxiv.org/pdf/2308.16800.pdfDeeper Inquiries