Überwindung des Basis-Neu-Zielkonflikts in der Prompt-Abstimmung durch Entkopplung von Merkmalskanälen

Durch eine eingehende Analyse der erlernten Merkmale von Basis- und Neuen Aufgaben stellen wir fest, dass der Basis-Neu-Zielkonflikt auf ein Kanalverzerrungsproblem zurückzuführen ist - der Großteil der Merkmalskanäle ist von basisspezifischem Wissen belegt, was zum Zusammenbruch des aufgabenübergreifenden Wissens führt, das für neue Aufgaben wichtig ist. Um dies anzugehen, schlagen wir den Decoupled Prompt Tuning (DePT)-Rahmen vor, der basisspezifisches Wissen während des Prompt-Tunings von Merkmalskanälen in einen isolierten Merkmalsraum entkoppelt, um das aufgabenübergreifende Wissen im ursprünglichen Merkmalsraum maximal zu erhalten und so eine bessere Null-Schuss-Generalisierung auf neue Aufgaben zu erreichen.