Anpassung von Großsprachmodellen durch Erstellung und Abruf spezialisierter Werkzeugsets
Durch die Erstellung und den Abruf von Werkzeugen, die auf spezifische Probleme zugeschnitten sind, können Großsprachmodelle an verschiedene Aufgaben und Domänen angepasst werden, ohne dass eine aufwendige Feinabstimmung erforderlich ist.
Verbesserung der Ausrichtung von Großen Sprachmodellen durch Curriculum-Lernen und Rangfolge-Präferenzen
Durch die Verwendung mehrerer Präferenzpaare pro Eingabeaufforderung und deren systematische Einführung in einem Curriculum-Lernverfahren kann die Leistung von Direkter Präferenzoptimierung (DPO) zur Ausrichtung von Großen Sprachmodellen auf menschliche Präferenzen deutlich verbessert werden.
Wie man die Ausrichtung von LLMs nach dem Fine-Tuning bewahrt: Die entscheidende Rolle von Prompt-Vorlagen
Die Verwendung unterschiedlicher Prompt-Vorlagen für das Fine-Tuning und die Inferenz ist entscheidend, um die Sicherheitsausrichtung von LLMs zu erhalten, auch wenn das Fine-Tuning auf scheinbar "harmlosen" Datensätzen erfolgt.
Effiziente Steuerung von Großsprachmodellen für vielfältige Nutzervorlieben: Ausrichtung der Präferenzrichtung mit mehreren Zielfunktionen
Ein neuartiger Ansatz zur Ausrichtung von Großsprachmodellen auf die vielfältigen Präferenzen von Nutzern, indem Präferenzen als Richtungsvektoren in einem mehrdimensionalen Zielraum modelliert werden.