المفاهيم الأساسية
Eine hypothesengeleitete Methode zur Quantifizierung, ob eine neue Stichprobe in-Verteilung oder out-of-Verteilung für ein trainiertes tiefes neuronales Netz ist.
الملخص
Die Studie präsentiert einen hypothesenbasierten Ansatz, um zu quantifizieren, ob eine neue Stichprobe in-Verteilung (InD) oder out-of-Verteilung (OoD) für ein trainiertes tiefes neuronales Netz ist.
Der Kern der Methode ist wie folgt:
Für ein trainiertes Modell werden verschiedene OoD-Metriken aus den Aktivierungen der versteckten Schichten extrahiert. Diese Metriken bilden einen Vektor von OoD-Merkmalen für jede Eingabe.
Die Unterschiede zwischen den OoD-Merkmalen von InD- und OoD-Stichproben werden mithilfe eines Hypothesentests (Multi-Response Permutation Procedure, MRPP) quantifiziert. Dieser Test liefert einen Teststatistikwert und einen p-Wert, die Aufschluss darüber geben, ob die beobachteten Unterschiede statistisch signifikant sind.
Die Methode wird auf synthetische Datensätze (MNIST, CIFAR10) sowie auf einen realen Bakteriendatensatz (AMRB) angewendet. Die Ergebnisse zeigen, dass der Ansatz Unterschiede zwischen InD- und OoD-Stichproben in einer interpretierbaren Weise quantifizieren kann.
Die vorgeschlagene Methode kann auf jedes trainierte Modell angewendet werden, solange OoD-Metriken aus dem Modell extrahiert werden können. Sie bietet eine Grundlage für fundierte Entscheidungen aus Klassifikatoren, die nur auf einem Teilsatz von Klassen trainiert wurden.
الإحصائيات
Die Verwendung mehrerer OoD-Metriken anstelle einer einzelnen Metrik verbessert die Konsistenz über verschiedene Datensätze und Modelle hinweg.
Bei Vergleichen zwischen Stichproben aus derselben Klasse werden in der Regel hohe p-Werte beobachtet, was darauf hindeutet, dass die Unterschiede nicht statistisch signifikant sind.
Bei Vergleichen zwischen Stichproben aus verschiedenen Klassen werden in der Regel niedrige p-Werte beobachtet, was darauf hindeutet, dass die Unterschiede statistisch signifikant sind.
اقتباسات
Keine relevanten Zitate identifiziert.