Die Studie untersucht das Multitask-Lernen auf Graphen, bei dem mehrere Knotenbeschriftungsaufgaben gleichzeitig gelöst werden. Die Autoren stellen fest, dass negative Übertragungen zwischen Aufgaben weit verbreitet sind und durch die Erhöhung der Modellkapazität nicht behoben werden können. Die Beziehungen zwischen den Aufgaben sind weder monoton noch submodular, was die Verwendung herkömmlicher Methoden zur Modellierung von Aufgabenbeziehungen erschwert.
Um diese Herausforderung anzugehen, entwickeln die Autoren einen Algorithmus, der Aufgaben basierend auf einer höherwertigen Aufgabenaffinität gruppiert. Dazu schätzen sie die Affinitäten zwischen Aufgaben durch ein effizientes Stichprobenverfahren ab, das nur das Training von O(T) Multitask-Modellen erfordert. Anschließend verwenden sie ein Spektralclusteringverfahren, um die Aufgaben in ähnliche Gruppen einzuteilen und für jede Gruppe ein separates Multitask-Modell zu trainieren.
Die Experimente zeigen, dass dieser Ansatz die Testgenauigkeit im Vergleich zu verschiedenen Baselines für Gemeinschaftserkennung und Molekülgraphvorhersage deutlich verbessert. Darüber hinaus liefert die theoretische Analyse Garantien dafür, dass die Affinitätswerte die zugrunde liegende Aufgabenstruktur korrekt erfassen können.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Dongyue Li,H... at arxiv.org 03-18-2024
https://arxiv.org/pdf/2306.14009.pdfDeeper Inquiries