MIRAGE ist ein Verfahren zur Datenkompression für Graph-Klassifizierung, das unabhängig vom verwendeten Graphen-Neuronalen-Netz-Modell und dessen Hyperparametern ist. Es basiert auf der Beobachtung, dass Graphen-Neuronale-Netze Graphen in eine Menge von Berechnungsbäumen zerlegen können. Die Verteilung dieser Berechnungsbäume ist oft stark schief, mit wenigen häufig auftretenden Bäumen und vielen seltenen Bäumen.
MIRAGE nutzt diese Beobachtung, um eine kompakte Zusammenfassung der Trainingsdaten zu erstellen. Dazu werden zunächst alle Berechnungsbäume in den Trainingsgraphen extrahiert und ihre Häufigkeiten gezählt. Anschließend werden nur die am häufigsten auftretenden Bäume ausgewählt, um daraus ein destilliertes Trainingsdataset zu erstellen.
Dieses destillierte Dataset kann dann zum Training eines Graphen-Neuronalen-Netzes verwendet werden. MIRAGE ist im Gegensatz zu bestehenden Verfahren unabhängig vom verwendeten Modell und dessen Hyperparametern, da es die Berechnungen selbst komprimiert anstatt die Gradientenflüsse des Modells nachzuahmen.
Umfangreiche Experimente auf realen Datensätzen zeigen, dass MIRAGE eine höhere Vorhersagegenauigkeit, eine 4- bis 5-mal höhere Datenkompression und eine 150-mal höhere Effizienz im Destillationsprozess im Vergleich zu state-of-the-art Verfahren erreicht.
To Another Language
from source content
arxiv.org
Djupare frågor