이 논문은 그래프 데이터에서 발생하는 분포 변화 문제를 해결하기 위해 대규모 언어 모델(LLM)을 활용한 테스트 시간 학습 방법을 제안한다.
주요 내용은 다음과 같다:
노드 선택을 위한 하이브리드 액티브 학습 전략: 노드의 다양성, 대표성 및 사전 학습 모델의 예측 신호를 고려하여 가장 가치 있는 노드를 선택한다.
LLM을 활용한 고품질 의사 레이블 생성: LLM의 주석 능력을 활용하여 선택된 노드에 대한 의사 레이블을 생성하고, 신뢰도 점수를 활용하여 필터링한다.
두 단계 학습 전략: 필터링된 노드를 활용한 지도 학습과 비지도 학습을 결합하여 제한적이고 노이즈가 있는 레이블을 효과적으로 활용한다.
실험 결과, 제안된 LLMTTT 방법이 다양한 OOD 그래프 데이터에서 기존 방법들에 비해 우수한 성능을 보였다. 이는 LLM을 활용한 테스트 시간 학습이 그래프 데이터의 분포 변화 문제를 효과적으로 해결할 수 있음을 보여준다.
Vers une autre langue
à partir du contenu source
arxiv.org
Questions plus approfondies