Effiziente Nutzung von Paarweisen Präferenzen zur Ausrichtung von Bewertungen durch Große Sprachmodelle an menschlichen Urteilen

Große Sprachmodelle (LLMs) können als automatische Evaluatoren für die Qualität von generierter natürlicher Sprache eingesetzt werden, zeigen aber oft Abweichungen von menschlichen Bewertungen. Durch die Nutzung von paarweisen Präferenzen, inspiriert vom RLHF-Trainingsparadigma, kann die Ausrichtung der LLM-Evaluatoren an menschlichen Urteilen verbessert werden.