Core Concepts
Durch die Kombination von Graph Neural Networks (GNNs) und Large Language Models (LLMs) kann die Leistung von LLMs bei Graph-Lernaufgaben deutlich verbessert werden.
Abstract
Der Artikel untersucht, ob LLMs für Graph-Lernaufgaben geeignet sind, indem sie mit Hilfe von "soft prompting" mit Graphinformationen verknüpft werden. Dafür wird ein neuartiges Framework namens GraphPrompter vorgestellt, das aus zwei Hauptkomponenten besteht:
Einem GNN, um komplexe Graphinformationen zu codieren
Einem LLM, um textuelle Informationen effektiv zu verarbeiten
Die Kernidee ist, die vom GNN erzeugten Knotenrepräsentationen als "soft prompt" zu verwenden, um das LLM bei Graph-Lernaufgaben wie Knotenklassifikation und Link-Vorhersage anzuleiten.
Umfangreiche Experimente auf verschiedenen Benchmark-Datensätzen zeigen, dass der GraphPrompter-Ansatz die Leistung von LLMs bei Graph-Lernaufgaben deutlich verbessern kann und sowohl reinen GNN-Methoden als auch anderen LLM-basierten Ansätzen überlegen ist. Dies eröffnet neue Möglichkeiten, LLMs für komplexe Datenstrukturen jenseits von Textdaten einzusetzen.
Stats
Die Genauigkeit des GraphPrompter-Ansatzes liegt bei Knotenklassifikationsaufgaben auf dem PubMed-Datensatz bei 94,80%.
Bei Linkvorhersageaufgaben erreicht der GraphPrompter-Ansatz auf dem Citeseer-Datensatz eine Genauigkeit von 93,49%.
Quotes
"Durch die Kombination der Stärken von GNNs und LLMs können wir die Leistung von LLMs bei Graph-Lernaufgaben deutlich verbessern."
"Der GraphPrompter-Ansatz zeigt konsistent die beste oder zweitbeste Leistung über alle Benchmark-Datensätze hinweg, was die Effektivität unseres Soft-Prompting-Ansatzes für LLMs in Graph-Lernaufgaben belegt."