Die Studie untersucht das Problem der Mehraufgaben-Bildwiederherstellung (Multiple-in-One Image Restoration, MiO IR), bei dem ein einzelnes Modell mehrere gängige IR-Aufgaben wie Super-Auflösung, Entunschärfung, Entrauschen, DeJPEG, Entschwärzung, Entnebelung und Aufhellung bewältigen soll.
Die Autoren identifizieren zwei Hauptherausforderungen bei MiO IR: die Optimierung verschiedener Ziele und die Anpassung an mehrere Aufgaben. Um diese Herausforderungen anzugehen, schlagen sie zwei einfache, aber effektive Strategien vor:
Sequenzielles Lernen: Das Netzwerk lernt die einzelnen IR-Aufgaben nacheinander, anstatt sie zu vermischen. Dies führt zu einem stabileren Optimierungsverfahren und einer Leistungssteigerung von durchschnittlich 0,29/0,85 dB für SRResNet/SwinIR über die sieben Aufgaben.
Promptbasiertes Lernen: Das Netzwerk verwendet zusätzliche Eingaben als Prompt, um die spezifische Aufgabe besser zu verstehen und die Rekonstruktion anzupassen. Die explizite Promptmethode verbessert die durchschnittliche PSNR um 0,84/1,21 dB für SRResNet/SwinIR, während die adaptive Promptmethode eine Verbesserung von 0,24/0,95 dB erzielt.
Die beiden Strategien ergänzen sich gegenseitig und können die Leistung sowohl von CNN- als auch von Transformer-Netzwerken auf In-Distribution- und Out-of-Distribution-Testsets deutlich verbessern. Die Autoren zeigen auch, dass ihre Strategien den aktuellen Stand der Technik PromptIR um 1,1 dB bei nur 75% der Parameter verbessern können.
To Another Language
from source content
arxiv.org
Principais Insights Extraídos De
by Xiangtao Kon... às arxiv.org 03-19-2024
https://arxiv.org/pdf/2401.03379.pdfPerguntas Mais Profundas