Erkennung von anomalen oder außerhalb der Verteilung liegenden Daten in Sichtmodellen mithilfe statistischer Techniken

Основные понятия

Wir untersuchen, ob die Abweichung der Bildstatistiken vom Benford'schen Gesetz widergespiegelt wird, wenn Bilder auf verschiedenen Ebenen korrupt sind. Unsere Ergebnisse zeigen, dass für viele Korruptionsarten Bilder, die auf einer höheren Ebene korrupt sind, typischerweise stärker von der erwarteten Verteilung abweichen.

Аннотация

In dieser Arbeit untersuchen die Autoren, ob die Abweichung der Statistiken der diskreten Kosinustransformationskoeffizienten (DCT) von Bildern vom theoretischen Benford'schen Gesetz (BFL) genutzt werden kann, um anomale Eingaben oder außerhalb der Verteilung liegende Daten in Sichtmodellen zu erkennen.

Die Autoren beschreiben zunächst die Theorie und die aktuellen Anwendungen der Verteilungsstatistiken von Bildern. Sie erläutern dann die Methodik zur Extraktion einer Verteilungsvergleichsmetrik aus Bildern und stellen den verwendeten ImageNet-C-Datensatz vor, der verschiedene Bildkorruptionen enthält.

Die Ergebnisse zeigen, dass für viele Korruptionsarten Bilder, die stärker korrupt sind, typischerweise stärker von der erwarteten BFL-Verteilung abweichen. Dies deutet darauf hin, dass dieser Ansatz als ergänzende Methode zur Erkennung von Anomalien oder außerhalb der Verteilung liegenden Daten verwendet werden könnte, auch wenn er nicht alle Fälle abdeckt. Die Autoren diskutieren mögliche Erweiterungen und Anwendungen dieser Technik.

Статистика

Die Mediane der Jensen-Shannon-Divergenz zwischen der empirischen Verteilung der DCT-Koeffizienten und der theoretischen BFL-Verteilung sind für saubere ImageNet-Bilder 0,0235, für Bilder mit Korruptionsstufe 1 0,0239, für Stufe 3 0,0246 und für Stufe 5 0,0256.
Die Top-1-Genauigkeit des AlexNet-Modells beträgt für saubere ImageNet-Bilder 0,633, für Bilder mit Korruptionsstufe 1 0,585, für Stufe 3 0,505 und für Stufe 5 0,395.

Цитаты

"Unsere Ergebnisse zeigen, dass für viele Korruptionsarten Bilder, die auf einer höheren Ebene korrupt sind, typischerweise stärker von der erwarteten Verteilung abweichen."
"Diese positive Erkenntnis motiviert weitere Tests, und wir glauben, dass Erweiterungen der in dieser Arbeit verwendeten Methoden wahrscheinlich zu positiven Ergebnissen führen werden."

Ключевые выводы из

On the Detection of Anomalous or Out-Of-Distribution Data in Vision Models Using Statistical Techniques

by Laura O'Maho... в arxiv.org 03-26-2024

https://arxiv.org/pdf/2403.15497.pdf

Дополнительные вопросы

Inwieweit korreliert der Leistungsabfall des Modells mit dem Grad der erkannten Verteilungsverschiebung?

Der Leistungsabfall des Modells korreliert in gewissem Maße mit dem Grad der erkannten Verteilungsverschiebung. Die Studie zeigt, dass für viele Arten von Bildverfälschungen die Bilder, die stärker verfälscht sind, tendenziell stärker von der erwarteten Verteilung abweichen. Dies deutet darauf hin, dass es eine gewisse Korrelation zwischen der Schwere der Verfälschung eines Bildes und der Abweichung von der Benfordschen Gesetzgebung gibt. Allerdings gibt es auch Ausnahmen, wie beispielsweise bei Bildern mit Gaussian Noise, wo die Abweichung von der erwarteten Verteilung nicht unbedingt mit einem signifikanten Leistungsabfall des Modells einhergeht. Dies legt nahe, dass andere Faktoren neben der reinen Verteilungsverschiebung den Leistungsabfall beeinflussen können.

Wie gut funktioniert dieser Ansatz im Vergleich zu anderen Methoden zur Erkennung von außerhalb der Verteilung liegenden Daten und Anomalien?

Der vorgestellte Ansatz, der die Abweichung von der Benfordschen Gesetzgebung zur Erkennung von Anomalien und außerhalb der Verteilung liegenden Daten nutzt, zeigt vielversprechende Ergebnisse. Er bietet eine einfache und rechenintensive Methode, um anomale Datenpunkte zu filtern und auf Daten außerhalb der Verteilung hinzuweisen. Im Vergleich zu anderen Methoden wie der Analyse von Aktivierungen in versteckten Schichten, dem Einsatz von Likelihood-Ratio-Ansätzen oder dem Einsatz von Gradienten im Bereich der Anomalieerkennung, bietet der Benfordsche Ansatz eine alternative Möglichkeit, um Abweichungen in den Daten zu identifizieren. Obwohl er nicht als Ersatz für andere Techniken dienen sollte, kann er als ergänzende Methode in Betracht gezogen werden.

Könnte diese Technik auch für andere Datentypen als Bilder nützlich sein?

Ja, diese Technik könnte auch für andere Datentypen als Bilder nützlich sein. Da das Benfordsche Gesetz auf verschiedenen Datentypen anwendbar ist, könnte die Methode der Abweichung von der Benfordschen Gesetzgebung auch auf andere Datensätze angewendet werden. Zum Beispiel könnte sie in der Finanzwelt zur Erkennung von Betrug in Buchhaltungsdaten oder zur Überwachung von Datenströmen eingesetzt werden. Die grundlegende Idee, die Verteilungsunterschiede zwischen erwarteten und beobachteten Daten zu quantifizieren, könnte auf verschiedene Datentypen übertragen werden, um Anomalien und Daten außerhalb der Verteilung zu identifizieren. Es wäre interessant, diese Technik auf verschiedene Datensätze und Anwendungsgebiete zu erweitern, um ihr Potenzial in verschiedenen Kontexten zu erforschen.