이 논문은 텍스트 속성 그래프(TAG)에서의 노드 표현 학습 문제를 다룹니다. 기존 연구들은 그래프 신경망(GNN)과 사전 훈련된 언어 모델(PLM)을 순차적으로 사용하거나 단일 최적화 목적으로 통합하는 방식을 사용했지만, 이는 텍스트와 그래프 정보 간의 세부적인 상관관계를 포착하지 못하는 한계가 있었습니다.
이 논문에서는 HASH-CODE라는 새로운 접근법을 제안합니다. HASH-CODE는 GNN과 PLM을 통합하고, 5가지 자기 지도 학습 목적 함수를 활용하여 토큰, 노드, 부그래프 수준의 다양한 상관관계를 학습합니다. 특히, 기존 스펙트럼 대조 손실 함수가 저주파 성분만을 학습한다는 한계를 극복하기 위해 고주파 성분을 고려한 새로운 대조 손실 함수를 제안합니다.
실험 결과, HASH-CODE는 다양한 실세계 데이터셋에서 기존 방법들보다 우수한 성능을 보였습니다. 또한 이론적 분석과 시각화를 통해 HASH-CODE의 효과를 입증하였습니다.
To Another Language
from source content
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Peiyan Zhang... : arxiv.org 04-22-2024
https://arxiv.org/pdf/2402.16240.pdfDaha Derin Sorular