Theoretische Analyse der Leistungsfähigkeit und Grenzen von Prompting und Prefix-Tuning

Kontextbasierte Feinabstimmungsmethoden wie Prompting, In-Context-Learning, Soft Prompting und Prefix-Tuning sind zwar empirisch erfolgreich, haben aber strukturelle Einschränkungen. Sie können die relativen Aufmerksamkeitsmuster nicht ändern und können die Ausgabe einer Aufmerksamkeitsschicht nur in eine feste Richtung beeinflussen, im Gegensatz zur vollständigen Feinabstimmung.