Die Studie untersucht die Herausforderungen bei der Bildinterpolation mit Diffusionsmodellen. Die Autoren stellen fest, dass die bestehenden Methoden, die auf sphärischer linearer Interpolation basieren, bei der Interpolation natürlicher Bilder (nicht von Diffusionsmodellen generiert) Schwierigkeiten haben. Die Ursache dafür liegt in der Ungültigkeit des Encodingrauschens, das nicht mehr der erwarteten Normalverteilung entspricht.
Um diese Herausforderungen zu bewältigen, schlagen die Autoren einen neuartigen Ansatz namens NoiseDiffusion vor. Dieser Ansatz nähert das ungültige Rauschen an die erwartete Verteilung an, indem er subtiles Gauß'sches Rauschen einführt und eine Beschränkung einführt, um Rauschen mit extremen Werten zu unterdrücken. Darüber hinaus führt NoiseDiffusion die Interpolation im verrauschten Bildraum durch und injiziert die Originalbild-Informationen in diese verrauschten Bilder, um den Informationsverlust zu bewältigen.
Die Ergebnisse zeigen, dass NoiseDiffusion in der Lage ist, natürliche Bilder ohne Artefakte oder Informationsverlust zu interpolieren und die besten Interpolationsergebnisse zu erzielen.
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by PengFei Zhen... ב- arxiv.org 03-15-2024
https://arxiv.org/pdf/2403.08840.pdfשאלות מעמיקות