Automatische Korrektur von Ausreißern über optimalen Transport

Grunnleggende konsepter

Wir schlagen einen neuartigen konzeptionellen Rahmen vor, um Ausreißer unter Verwendung eines optimalen Transports mit einer konkaven Kostenfunktion zu erkennen. Unser Schätzer integriert die Ausreißerkorrektur und die Schätzung in einem gemeinsamen Optimierungsrahmen, um die Auswirkungen von Ausreißern automatisch zu beseitigen.

Sammendrag

In dieser Arbeit schlagen wir einen neuartigen konzeptionellen Rahmen vor, um Ausreißer unter Verwendung eines optimalen Transports mit einer konkaven Kostenfunktion zu erkennen. Herkömmliche Ansätze zur Ausreißererkennung verwenden in der Regel ein zweistufiges Verfahren: Zunächst werden Ausreißer erkannt und entfernt, dann wird die Schätzung auf den bereinigten Daten durchgeführt. Dieser Ansatz informiert die Ausreißerentfernung jedoch nicht über die Schätzaufgabe, was Raum für Verbesserungen lässt.
Um diese Einschränkung zu beheben, schlagen wir einen automatischen Ausreißerkorrekturmechanismus vor, der die Korrektur und die Schätzung in einem gemeinsamen Optimierungsrahmen integriert. Wir nutzen zunächst einen optimalen Transportabstand mit einer konkaven Kostenfunktion, um eine Korrekturmenge im Wahrscheinlichkeitsraum zu konstruieren. Dann wählen wir die beste Verteilung innerhalb der Korrekturmenge, um die Schätzaufgabe durchzuführen. Die von uns eingeführte konkave Kostenfunktion ist der Schlüssel dazu, dass unser Schätzer die Ausreißer während des Optimierungsprozesses effektiv identifizieren kann.
Wir zeigen, dass unser Schätzer für die Mittelwertschätzung und die kleinste absolute Regression äquivalent zu einem adaptiven Quantilschätzer (Regression) ist, wobei das Quantil durch den Budgetparameter δ gesteuert wird. Darüber hinaus beweisen wir, dass die optimale korrigierte Verteilung eine Langstreckenstruktur aufweist, die die Ausreißererkennung erleichtert.
Schließlich evaluieren wir die Leistung unseres Schätzers auf verschiedenen Aufgaben, einschließlich der Mittelwertschätzung, der kleinsten absoluten Regression und einer Anwendung auf die Glättung der impliziten Volatilitätsoberfläche von Optionen. Unsere experimentellen Ergebnisse zeigen, dass unser Schätzer im Vergleich zu Basisschätzern um 30,4% glattere Oberflächen erzeugt und eine durchschnittliche Verbesserung der mittleren absoluten prozentualen Fehler (MAPE) um 6,3% über alle geschätzten Oberflächen hinweg erreicht, was die Wirksamkeit unserer Ausreißerkorrektur belegt.

Statistikk

55% der Daten stammen aus N(0, 2) und 45% aus N(25, 2).
Bei einem Korruptionsniveau von 45% beträgt der Mittelwert des verzerrten Datensatzes 11,248 ± 0,098.
Bei einem Korruptionsniveau von 45% beträgt der Median des verzerrten Datensatzes 2,843 ± 0,208.
Bei einem Korruptionsniveau von 45% beträgt der Trimmed Mean des verzerrten Datensatzes 3,047 ± 0,174.
Bei einem Korruptionsniveau von 45% beträgt unser Schätzer 1,620 ± 0.

Sitater

Keine relevanten Zitate gefunden.

Viktige innsikter hentet fra

Automatic Outlier Rectification via Optimal Transport

by Jose Blanche... klokken arxiv.org 03-22-2024

https://arxiv.org/pdf/2403.14067.pdf

Dypere Spørsmål

Wie könnte man den vorgeschlagenen Schätzer auf andere Problemstellungen wie die Klassifikation oder die Zeitreihenanalyse erweitern

Um den vorgeschlagenen Schätzer auf andere Problemstellungen wie die Klassifikation oder die Zeitreihenanalyse zu erweitern, könnten verschiedene Anpassungen vorgenommen werden.
Für die Klassifikation könnte der Schätzer beispielsweise durch die Verwendung von Verlustfunktionen und Metriken für Klassifikationsprobleme angepasst werden. Anstelle der mittleren Schätzung könnte man beispielsweise die Modus-Schätzung verwenden, um die Klasse mit der höchsten Wahrscheinlichkeit zu bestimmen. Darüber hinaus könnten Techniken wie die Verwendung von Konfidenzintervallen für die Klassenzuweisung oder die Integration von Regularisierungstechniken zur Verbesserung der Robustheit gegenüber Ausreißern eingesetzt werden.
Für die Zeitreihenanalyse könnte der Schätzer durch die Berücksichtigung von Zeitabhängigkeiten und Autokorrelationen erweitert werden. Dies könnte die Verwendung von speziellen Distanzmetriken oder Anpassungen an die Schätzung von Trend- und Saisonkomponenten umfassen. Darüber hinaus könnten Techniken wie die Verwendung von Zeitfenstern oder die Integration von Zeitreihenmodellen zur Vorhersage von zukünftigen Werten in den Schätzprozess einbezogen werden.

Welche Auswirkungen hätte eine Verletzung der Annahme, dass die Ausreißer unabhängig und identisch verteilt sind, auf die Leistung des Schätzers

Eine Verletzung der Annahme, dass die Ausreißer unabhängig und identisch verteilt sind, könnte die Leistung des Schätzers erheblich beeinträchtigen. Wenn die Ausreißer nicht unabhängig sind, könnten sie systematische Fehler in der Schätzung verursachen, insbesondere wenn sie in Gruppen auftreten oder eine bestimmte Struktur aufweisen. Dies könnte zu verzerrten Schätzungen führen und die Genauigkeit des Schätzers beeinträchtigen.
Wenn die Ausreißer nicht identisch verteilt sind, d.h. wenn sie unterschiedliche Charakteristika oder Verteilungen aufweisen, könnte dies die Fähigkeit des Schätzers, Ausreißer zu identifizieren und zu korrigieren, beeinträchtigen. Der Schätzer könnte Schwierigkeiten haben, zwischen echten Ausreißern und strukturellen Merkmalen der Daten zu unterscheiden, was zu ungenauen Schätzungen führen könnte.
Insgesamt könnte eine Verletzung dieser Annahme die Robustheit und Zuverlässigkeit des Schätzers gegenüber Ausreißern verringern und seine Leistung in realen Anwendungen beeinträchtigen.

Wie könnte man den Ansatz nutzen, um robuste Entscheidungsfindung in Anwendungen wie der Portfoliooptimierung oder der Risikosteuerung zu ermöglichen

Um den Ansatz für robuste Entscheidungsfindung in Anwendungen wie der Portfoliooptimierung oder der Risikosteuerung zu nutzen, könnte der Schätzer auf spezifische Aspekte dieser Anwendungen angepasst werden.
In der Portfoliooptimierung könnte der Schätzer beispielsweise so modifiziert werden, dass er die Auswirkungen von Ausreißern auf die Asset-Allokation und das Risikomanagement berücksichtigt. Dies könnte die Entwicklung von robusten Portfoliostrategien unter Berücksichtigung von Ausreißern und unerwarteten Ereignissen ermöglichen.
In der Risikosteuerung könnte der Schätzer verwendet werden, um robuste Risikomodelle zu entwickeln, die Ausreißer und unvorhergesehene Ereignisse berücksichtigen. Dies könnte dazu beitragen, die Risikobewertung und -steuerung in volatilen Märkten oder Umgebungen zu verbessern und die Auswirkungen von unerwarteten Ereignissen auf das Risikoprofil zu minimieren.