Konsep Inti
Durch die gemeinsame Nutzung von RAW- und sRGB-Daten kann die Entfernung von Moiré-Mustern und die Farbkorrektur effizient und effektiv durchgeführt werden.
Abstrak
Die Studie untersucht die Bildentmusterung in RAW- und sRGB-Domänen. Moiré-Muster treten häufig auf, wenn Bildschirme mit Smartphones oder Kameras aufgenommen werden, was die Bildqualität beeinträchtigen kann. Bisherige Studien zeigen, dass die Beseitigung von Moiré-Mustern in der RAW-Domäne effektiver ist als in der sRGB-Domäne. Allerdings reicht die alleinige Nutzung von RAW-Daten für die Bildentmusterung nicht aus, um Farbabweichungen zu beseitigen, da die dafür erforderlichen Informationen für die Farbkorrektur durch den Bildverarbeitungsprozessor (ISP) fehlen.
In dieser Arbeit schlagen wir vor, sowohl RAW- als auch sRGB-Daten gemeinsam für die Bildentmusterung (RRID) zu nutzen, die in modernen Smartphones und DSLR-Kameras leicht zugänglich sind. Wir entwickeln ein Skip-Connection-basiertes Entmusterungsmodul (SCDM) mit einem Gated Feedback Modul (GFM) und einem Frequency Selection Modul (FSM), die in die Skip-Verbindungen eingebettet sind, um die RAW- und sRGB-Merkmale effizient und effektiv zu entmustern. Anschließend entwickeln wir einen RGB-geführten ISP (RGISP), um einen geräteabhängigen ISP zu erlernen, der den Farbwiederherstellungsprozess unterstützt. Umfangreiche Experimente zeigen, dass unser RRID die neuesten Methoden in Bezug auf die Leistung bei der Entfernung von Moiré-Mustern und der Farbabweichungskorrektur um 0,62 dB in PSNR und 0,003 in SSIM übertrifft.
Statistik
Die Entfernung von Moiré-Mustern ist eine Herausforderung aufgrund ihrer unterschiedlichen Größen, undeutlichen Formen, vielfältigen Farben und variierenden Frequenzen.
Moderne Smartphones und DSLR-Kameras bieten leicht zugängliche RAW- und sRGB-Daten.
Die Nutzung von RAW-Daten für die Bildentmusterung ist effektiver als die Entmusterung in der sRGB-Domäne, führt aber zu Farbabweichungen aufgrund der Unsicherheit bei der RAW-zu-sRGB-Umwandlung.
Kutipan
"Durch die gemeinsame Nutzung von RAW- und sRGB-Daten kann die Entfernung von Moiré-Mustern und die Farbkorrektur effizient und effektiv durchgeführt werden."
"RAW-Pixel bieten mehr Informationen als sRGB-Pixel, da sie in der Regel 12 oder 14 Bit haben."
"Moiré-Muster sind in der RAW-Domäne weniger auffällig, da sie von den nichtlinearen Vorgängen im ISP nicht weiter beeinträchtigt werden."