核心概念
Lehrer und GNN sind nicht notwendig für die Graphenwissensvermittlung.
要約
Die Studie untersucht die Effektivität einer lehrerfreien Graphenwissensvermittlungsplattform mit dualer Selbstvermittlung. Es wird gezeigt, dass MLPs von dieser Methode profitieren und die Leistung von GNNs übertreffen können. Die Plattform ermöglicht schnelle Inferenz und verbesserte Genauigkeit auf realen Datensätzen.
- Graph Neural Networks (GNNs) haben in verschiedenen Anwendungen Erfolg gezeigt.
- MLPs sind in der Industrie beliebter als GNNs.
- Graph Knowledge Distillation (GKD) wird vorgeschlagen, um Wissen von großen Lehrer-GNNs auf kleine Schüler-GNNs oder MLPs zu übertragen.
- Eine lehrerfreie Graph Self-Distillation (TGS) Plattform wird vorgeschlagen, die auf MLPs basiert und die Inferenzgeschwindigkeit verbessert.
- TGS verbessert die Leistung von MLPs erheblich und übertrifft andere GKD-Algorithmen auf sechs realen Datensätzen.
統計
Graph Knowledge Distillation wird vorgeschlagen, um Wissen von großen Lehrer-GNNs auf kleine Schüler-GNNs oder MLPs zu übertragen.
TGS verbessert die Leistung von MLPs um durchschnittlich 15,54% und übertrifft andere GKD-Algorithmen auf sechs realen Datensätzen.
TGS führt Inferenzen 75×-89× schneller als bestehende GNNs und 16×-25× schneller als klassische Inferenzbeschleunigungsmethoden durch.
引用
"Wir fanden heraus, dass weder Lehrer noch GNNs für die Graphenwissensvermittlung notwendig sind."
"TGS verbessert die Leistung von MLPs erheblich und übertrifft andere GKD-Algorithmen auf sechs realen Datensätzen."