Główne pojęcia
Durch den Einsatz von Shapley-Werten konnten wir eine eingehende Analyse des EAGLEEYES-Modells im HYPERVIEW-Wettbewerb durchführen und Schwachstellen in der Modellleistung aufdecken. Wir präsentieren eine neuartige Visualisierung von Erklärungen, die domänenspezifische Informationen über Hyperspektralbänder und Datentransformationen integriert, um das rote Teaming von Modellen für die Hyperspektralbildanalyse zu verbessern. Darüber hinaus entwickelten wir eine auf SHAP basierende Methode zur Modellpruning, die eine effizientere Modellversion ohne Beeinträchtigung der Regressionsergebnisse ermöglicht.
Streszczenie
Die Studie untersucht die Leistung des EAGLEEYES-Modells, des Gewinnermodells des HYPERVIEW-Wettbewerbs, das für den Einsatz auf dem INTUITION-1-Satelliten vorgesehen war. Durch den Einsatz von Shapley-Werten als erklärbares KI-Werkzeug konnten wir eine detaillierte Analyse des Modells durchführen und Schwachstellen aufdecken.
Die Analyse zeigte, dass das EAGLEEYES-Modell stark von einer begrenzten Anzahl von Merkmalen abhängig ist, was zu einer eingeschränkten Vorhersagespanne führt. Das Modell tendiert dazu, 90% der Werte in einem engen Bereich vorherzusagen und hat Schwierigkeiten mit Ausreißern.
Durch die Aggregation der Shapley-Werte nach Hyperspektralbändern und Datentransformationen konnten wir weitere Erkenntnisse gewinnen. Wir fanden heraus, dass Merkmale, die aus Spektralgradienten abgeleitet wurden, eine besonders wichtige Rolle für die Vorhersagen des EAGLEEYES-Modells spielen. Außerdem zeigte sich, dass Modelle, die räumliche Daten einbeziehen, stärker auf räumliche Merkmale zurückgreifen, was ihre Leistung verbessert.
Basierend auf diesen Erkenntnissen entwickelten wir eine Methode zur Modellpruning, die auf den Shapley-Werten aufbaut. Damit konnten wir Modelle mit deutlich weniger Eingabemerkmalen (bis zu 1% der ursprünglichen Merkmale) erstellen, die eine vergleichbare Leistung wie die Basismodelle erreichen. Dies ermöglicht die Entwicklung leichterer und schnellerer Modelle, die für den Einsatz auf Randgeräten wie Satelliten geeignet sind.
Insgesamt demonstriert unsere Studie, wie der Einsatz von erklärbarer KI das rote Teaming von Modellen für die Hyperspektralbildanalyse unterstützen und zu Verbesserungen führen kann.
Statystyki
Die Modelle mit reduzierter Merkmalszahl erreichten ähnliche mittlere absolute Fehler (MAE) wie die Basismodelle mit allen Merkmalen:
HYPERVIEW-Modell ohne Merkmalsauswahl: P 22,6, K 48,4, Mg 31,3, pH 0,206
HYPERVIEW-Modell mit Merkmalsauswahl (3 von 1200 Merkmalen): P 23,3 (+3%), K 48,7 (+1%), Mg 32,6 (+4%), pH 0,213 (+4%)
INTUITION-1-Modell ohne Merkmalsauswahl: P 22,5, K 48,5, Mg 30,9, pH 0,204
INTUITION-1-Modell mit Merkmalsauswahl (3 von 1490 Merkmalen): P 22,7 (+1%), K 48,5 (0%), Mg 32,5 (+5%), pH 0,214 (+5%)
Cytaty
"Durch den Einsatz von Shapley-Werten konnten wir eine eingehende Analyse des EAGLEEYES-Modells im HYPERVIEW-Wettbewerb durchführen und Schwachstellen in der Modellleistung aufdecken."
"Wir präsentieren eine neuartige Visualisierung von Erklärungen, die domänenspezifische Informationen über Hyperspektralbänder und Datentransformationen integriert, um das rote Teaming von Modellen für die Hyperspektralbildanalyse zu verbessern."
"Basierend auf diesen Erkenntnissen entwickelten wir eine Methode zur Modellpruning, die auf den Shapley-Werten aufbaut. Damit konnten wir Modelle mit deutlich weniger Eingabemerkmalen (bis zu 1% der ursprünglichen Merkmale) erstellen, die eine vergleichbare Leistung wie die Basismodelle erreichen."