Core Concepts
Durch die Fusion von unscharfen Bildern und Ereignissen kann ein scharfes neuronales Strahlungsfeld rekonstruiert werden. Ein lernbares Ereigniskamera-Antwortmodell ermöglicht hochwertige Rekonstruktionen, auch bei herausfordernder Bewegung.
Abstract
Die Studie präsentiert Ev-DeblurNeRF, eine neuartige Architektur zur Deblur-NeRF-Rekonstruktion, die unscharfe Bilder mit Ereignissen kombiniert.
Schlüsselpunkte:
- Explizite Modellierung des Unschärfebildungsprozesses unter Ausnutzung des Ereignis-Doppelintegrals als zusätzliche modellbasierte Priorisierung
- Modellierung der Ereignis-Pixel-Antwort mit einer end-to-end lernbaren Antwortfunktion, um Abweichungen des realen Ereigniskamera-Sensors vom idealen Modell zu kompensieren
- Validierung auf synthetischen und realen Datensätzen, die zeigt, dass der Ansatz die Leistung bestehender Deblur-NeRFs, die nur Bilder verwenden, um +6,13 dB und diejenigen, die Bilder und Ereignisse kombinieren, um +2,48 dB übertrifft
Stats
"Durch die Fusion von unscharfen Bildern und Ereignissen kann ein scharfes neuronales Strahlungsfeld rekonstruiert werden."
"Ein lernbares Ereigniskamera-Antwortmodell ermöglicht hochwertige Rekonstruktionen, auch bei herausfordernder Bewegung."
Quotes
"Ev-DeblurNeRF, eine neuartige Architektur zur Deblur-NeRF-Rekonstruktion, die unscharfe Bilder mit Ereignissen kombiniert."
"Explizite Modellierung des Unschärfebildungsprozesses unter Ausnutzung des Ereignis-Doppelintegrals als zusätzliche modellbasierte Priorisierung."
"Modellierung der Ereignis-Pixel-Antwort mit einer end-to-end lernbaren Antwortfunktion, um Abweichungen des realen Ereigniskamera-Sensors vom idealen Modell zu kompensieren."