Основні поняття
Diese Studie stellt EVREAL, eine einheitliche Bewertungsmethodik und ein Open-Source-Framework vor, um verschiedene Methoden zur Rekonstruktion von Ereignis-basierten Videos umfassend zu benchmarken und zu analysieren.
Анотація
Diese Studie präsentiert EVREAL, ein einheitliches Bewertungsframework und eine Open-Source-Bibliothek, um verschiedene Methoden zur Rekonstruktion von Ereignis-basierten Videos umfassend zu benchmarken und zu analysieren.
Das Framework umfasst folgende Komponenten:
Ereignis-Vorverarbeitung: Ermöglicht die Verarbeitung von Rohereignissen vor der Gruppierung.
Ereignis-Gruppierung: Verschiedene Optionen zum Gruppieren von Ereignissen, wie feste Anzahl, feste Dauer oder ereignisbasiert.
Ereignis-Repräsentation: Akkumulierung der gruppierten Ereignisse in eine gitterbasierte Darstellung.
Repräsentations-Vorverarbeitung: Optionale Vorverarbeitung der Ereignisrepräsentation, wie Zuschneiden oder Normalisierung.
Neuronales Netzwerk: Verwendung von vortrainierten neuronalen Netzwerken zur Vorhersage von Intensitätsbildern aus den Ereignisrepräsentationen.
Nachverarbeitung: Optionale Nachverarbeitung der vorhergesagten Intensitätsbilder.
Zur Bewertung werden sowohl Vollreferenz-Metriken (MSE, SSIM, LPIPS) als auch Keine-Referenz-Metriken (BRISQUE, NIQE, MANIQA) verwendet. Das Framework ermöglicht auch die Evaluierung der Methoden auf Downstream-Tasks wie Objekterkennung, Bildklassifizierung und Kalibrierung.
Darüber hinaus führt die Studie eine umfassende Robustheitsanalyse durch, um den Einfluss von Faktoren wie Ereignisrate, Tensorspärlichkeit, Rekonstruktionsrate und zeitliche Unregelmäßigkeit auf die Leistung der Methoden zu untersuchen.
Die Ergebnisse zeigen, dass die Wahl der Methode vom spezifischen Anwendungsfall abhängt. Während einige Methoden bei Standardbenchmarks gut abschneiden, zeigen sie in herausfordernden Szenarien oder bei Downstream-Tasks eine geringere Leistung. Die Studie liefert wertvolle Erkenntnisse, um die Stärken und Schwächen der verschiedenen Methoden besser zu verstehen.
Статистика
Die Ereignisrate variiert je nach Szeneneigenschaften, wobei mehr Ereignisse bei schnellen Bewegungen oder plötzlichen Helligkeitsänderungen ausgelöst werden.
Die Ereignisrate liegt typischerweise im Bereich von 0,2 bis 3,4 Millionen Ereignissen pro Sekunde.
Die Anzahl der Ereignisse in den Gruppen reicht von 5.000 bis 45.000.
Цитати
"Event cameras sind eine neue Art von Bildsensoren, die asynchrone und unabhängige Pixel aufweisen und Vorteile gegenüber herkömmlichen Kamerarahmen wie hoher Dynamikumfang und minimale Bewegungsunschärfe bieten."
"Die Rekonstruktion von Intensitätsbildern aus Ereignisströmen ist eine grundlegende Aufgabe in der ereignisbasierten Bildverarbeitung."