Conceptos Básicos
Durch den Einsatz von Benutzerrückmeldungen können Modelle für instruktionsbasierte Bildbearbeitung deutlich verbessert werden, um die Präferenzen der Nutzer besser widerzuspiegeln.
Resumen
Der Artikel präsentiert ein neuartiges Framework namens HIVE (Harnessing Human Feedback for Instructional Visual Editing), das es ermöglicht, Modelle für instruktionsbasierte Bildbearbeitung mithilfe von Benutzerrückmeldungen zu verbessern.
Zunächst wird ein Basisliniensystem für instruktionsbasierte Bildbearbeitung trainiert, indem ein vortrainiertes Stable-Diffusion-Modell feinabgestimmt wird. Anschließend wird ein Belohnungsmodell trainiert, das die Präferenzen der Benutzer für die generierten Bilder erfasst. Schließlich wird das Basisliniensystem mithilfe der geschätzten Belohnungen weiter feinabgestimmt, um die Übereinstimmung zwischen Bearbeitungsanweisungen und den resultierenden Bildern zu verbessern.
Die Experimente zeigen, dass HIVE die Leistung früherer Methoden für instruktionsbasierte Bildbearbeitung deutlich übertrifft, sowohl in quantitativen als auch in qualitativen Bewertungen. Insbesondere kann HIVE die Übereinstimmung zwischen Bearbeitungsanweisungen und den generierten Bildern erheblich verbessern, indem es die Präferenzen der Benutzer berücksichtigt.
Estadísticas
"Die Bildqualität ist fünf von fünf."
"Die Bildqualität ist eins von fünf."
Citas
"Durch den Einsatz von Benutzerrückmeldungen können Modelle für instruktionsbasierte Bildbearbeitung deutlich verbessert werden, um die Präferenzen der Nutzer besser widerzuspiegeln."
"HIVE kann die Übereinstimmung zwischen Bearbeitungsanweisungen und den generierten Bildern erheblich verbessern, indem es die Präferenzen der Benutzer berücksichtigt."