Präzisions- und Recall-Ablehnungskurven für die Klassifizierung

Основні поняття

Für einige Klassifizierungsszenarien ist es wünschenswert, nur diejenigen Klassifizierungsinstanzen zu verwenden, die ein trainiertes Modell mit hoher Sicherheit zuordnet. Um solche Hochsicherheitsinstanzen zu bewerten, schlagen wir Präzisions-Ablehnungskurven (PRC) und Recall-Ablehnungskurven (RRC) vor, die eine genauere Bewertung der Klassifikatorleistung ermöglichen als die bisher verwendeten Genauigkeits-Ablehnungskurven (ARC).

Анотація

Der Artikel führt Präzisions-Ablehnungskurven (PRC) und Recall-Ablehnungskurven (RRC) ein, um Klassifikatoren mit Ablehnungsoption zu bewerten. Dies ist insbesondere für Szenarien mit unausgewogenen Datensätzen sinnvoll, in denen die Genauigkeit als Bewertungsmaß ungeeignet sein kann.
Zunächst wird das Konzept der Ablehnungsoption für Klassifikatoren erläutert. Dabei werden zwei Maße für die Klassifikationssicherheit vorgestellt: Conf (basierend auf Wahrscheinlichkeitsschätzungen) und RelSim (basierend auf Ähnlichkeitsmaßen).
Anschließend werden die PRC und RRC als Erweiterung der etablierten Genauigkeits-Ablehnungskurven (ARC) eingeführt. Diese Kurven zeigen den Verlauf von Präzision und Recall in Abhängigkeit von der Ablehnungsrate.
Die Autoren demonstrieren den Nutzen der PRC und RRC anhand von Experimenten mit künstlichen Gaußdaten, Benchmark-Datensätzen und einem realen medizinischen Datensatz. Die Ergebnisse zeigen, dass die PRC und RRC in Szenarien mit unausgewogenen Daten aussagekräftigere Einblicke in die Leistungsfähigkeit von Klassifikatoren liefern als die ARC.

Статистика

Die Präzision eines Klassifikators mit Ablehnungsoption ist definiert als TPθ / (TPθ + FPθ), wobei TPθ die Zahl der richtig positiven und FPθ die Zahl der falsch positiven Klassifikationen in der Menge der akzeptierten Datenpunkte Xθ ist.
Der Recall eines Klassifikators mit Ablehnungsoption ist definiert als TPθ / (TPθ + FNθ), wobei FNθ die Zahl der falsch negativen Klassifikationen in Xθ ist.

Цитати

"Für einige Klassifizierungsszenarien ist es wünschenswert, nur diejenigen Klassifizierungsinstanzen zu verwenden, die ein trainiertes Modell mit hoher Sicherheit zuordnet."
"In hochgradig unausgewogenen Szenarien kann die Genauigkeit eines Klassifikators hoch sein, einfach weil - im schlimmsten Fall - ständig die Mehrheitsklasse vorhergesagt wird, während die Minderheitsklasse immer falsch klassifiziert wird."

Ключові висновки, отримані з

Precision and Recall Reject Curves for Classification

by Lydia Fische... о arxiv.org 03-15-2024

https://arxiv.org/pdf/2308.08381.pdf

Глибші Запити

Wie können die PRC und RRC auf Mehrklassenprobleme erweitert werden

Die PRC und RRC können auf Mehrklassenprobleme erweitert werden, indem sie auf Precision und Recall für jede Klasse einzeln angewendet werden. Für Mehrklassenprobleme können Precision und Recall für jede Klasse separat berechnet werden, und die PRC und RRC können dann für jede Klasse individuell dargestellt werden. Dies ermöglicht eine differenziertere Bewertung der Ablehnungsschwellwerte für jedes Klassenlabel in einem Mehrklassen-Szenario.

Welche Auswirkungen haben unterschiedliche Fehlklassifikationskosten auf die Wahl des optimalen Ablehnungsschwellwerts

Unterschiedliche Fehlklassifikationskosten können die Wahl des optimalen Ablehnungsschwellwerts beeinflussen, da sie die Trade-offs zwischen Precision, Recall und den Kosten für falsch positive und falsch negative Klassifikationen berücksichtigen. Wenn die Kosten für falsch positive und falsch negative Klassifikationen unterschiedlich sind, kann dies dazu führen, dass ein bestimmter Ablehnungsschwellwert bevorzugt wird, um die Gesamtkosten zu minimieren. Ein höherer Fokus auf Recall kann beispielsweise bei hohen Kosten für falsch negative Klassifikationen sinnvoll sein, während ein höherer Fokus auf Precision bei hohen Kosten für falsch positive Klassifikationen bevorzugt wird.

Wie können Erklärbarkeitsverfahren genutzt werden, um zu verstehen, warum bestimmte Instanzen abgelehnt wurden

Erklärbarkeitsverfahren können genutzt werden, um zu verstehen, warum bestimmte Instanzen abgelehnt wurden, indem sie Einblicke in die Entscheidungsprozesse des Klassifikators bieten. Durch die Anwendung von Erklärbarkeitsverfahren wie beispielsweise Feature Importance oder SHAP Values kann analysiert werden, welche Merkmale oder Eigenschaften dazu geführt haben, dass eine Instanz abgelehnt wurde. Dies ermöglicht eine bessere Interpretation der Ablehnungsentscheidungen und kann dazu beitragen, das Vertrauen in die Klassifikationsmodelle zu stärken.