Temel Kavramlar
Große Sprachmodelle können durch kontextuelle Informationen in der Eingabe kontrolliert und robust gegenüber irrelevanten Kontexten gemacht werden, was ein skalierbares und robustes Modell-Editing ermöglicht.
Özet
Der Artikel präsentiert EREN, ein skalierbares und robustes Modell-Editing-Verfahren für große Sprachmodelle (LLMs) im Black-Box-Szenario.
Schlüsselpunkte:
- LLMs können durch geeignetes Prompting sehr gut auf kontextuelle Informationen in der Eingabe reagieren und diese gegenüber ihrem eigenen parametrischen Wissen priorisieren.
- EREN nutzt diese Eigenschaft, indem es alle Editierungen in einem Notizbuch speichert und bei einer Eingabe relevante Editierungen als Kontext für das LLM verwendet.
- Um die Skalierbarkeit zu erhöhen, schätzt EREN die Relevanz der Editierungen grob ab, um irrelevante Editierungen zu filtern.
- EREN übertrifft den aktuellen Stand der Technik deutlich bei Editier-Erfolg, Verhaltenserhaltung und Editier-Qualität.
- Die Autoren erstellen auch neue, herausforderndere Datensätze, um die Robustheit von Modell-Editoren besser zu evaluieren.
İstatistikler
"Die Präsidentin der USA ist Joe Biden."
"Joe Biden wurde in Scranton, Pennsylvania geboren."
Alıntılar
Keine relevanten Zitate gefunden.