Kernekoncepter
Die Ausdruckskraft von Graphneuronalen Netzen (GNNs) wird oft durch den Vergleich zu k-dimensionalen Weisfeiler-Leman (k-WL) Tests gemessen. Diese Arbeit zeigt jedoch, dass der k-WL Test nicht immer mit den Konzeptualisierungen von Ausdruckskraft durch Praktiker übereinstimmt und auch negative Auswirkungen auf Fairness, Robustheit und Datenschutz haben kann.
Resumé
Die Autoren untersuchen systematisch die Reliabilität und Validität der Messung der Ausdruckskraft von GNNs durch den Vergleich zu k-WL.
Zunächst führen sie eine Umfrage unter 18 Praktikern durch, um deren Konzeptualisierungen von Ausdruckskraft und Annahmen über k-WL zu erfassen. Die Umfrage zeigt, dass Praktiker unterschiedliche Definitionen von Ausdruckskraft haben, z.B. ob diese Isometrie beinhaltet oder nicht.
Die anschließende Analyse offenbart, dass k-WL keine Isometrie garantiert, für viele reale Graphaufgaben irrelevant sein kann und die Generalisierung oder Vertrauenswürdigkeit von GNNs nicht fördern muss. k-WL kann auch negative Auswirkungen auf Fairness, Robustheit und Datenschutz haben.
Die Autoren untersuchen auch, inwieweit 1-WL in gängigen Benchmarks alle nicht-isomorphen Graphen und Knoten unterscheiden kann. Sie finden, dass 1-WL oft alle nicht-isomorphen Instanzen in den Benchmarks unterscheiden kann, was darauf hindeutet, dass k-WL die Leistung von GNNs in der Praxis nicht einschränkt. Stattdessen scheinen die Komplexität und Kapazität des Decoders sowie die Generalisierung die limitierenden Faktoren zu sein.
Insgesamt argumentieren die Autoren, dass Praktiker entweder alternative Messungen der Ausdruckskraft jenseits von k-WL entwickeln oder anerkennen sollten, dass k-WL die Leistung in der Praxis nicht beschränkt und stattdessen rigorosere Benchmarks für die Bewertung der Ausdruckskraft konstruieren sollten.
Statistik
Für fast alle Benchmarks können 1-WL-Färbungen ausreichen, um die Mehrheitsentscheidung der Etiketten mit nahezu 100% Genauigkeit vorherzusagen.
Citater
"k-WL kann Isometrie nicht garantieren, für viele reale Graphaufgaben irrelevant sein und die Generalisierung oder Vertrauenswürdigkeit von GNNs nicht fördern."
"k-WL kann negative Auswirkungen auf Fairness, Robustheit und Datenschutz haben."