Główne pojęcia
Stärkung der Stabilität und Plastizität durch zweistufige Prompt-Strategie.
Streszczenie
Das Paper präsentiert STAR-Prompt, eine Methode für kontinuierliches Lernen, die die Stabilität der Prompt-Auswahl durch ein Grundlagenmodell und zweistufiges Prompt-Tuning stärkt. Es ersetzt die Standard-Prompt-Token-Konkatenierung durch additive Reste, um Semantik in die MLP-Schichten zu übertragen. Darüber hinaus wird ein einfaches generatives Replay auf der Grundlage einer multimodalen Darstellung der Merkmalsverteilungen verwendet.
Directory:
- Einleitung
- Menschliche vs. KI-Lernfähigkeiten
- Prompt-Tuning-Methoden
- Verwendung von CLIP und ViT
- Stabilitätsproblem bei Prompt-Auswahl
- Kritik an bestehenden Ansätzen
- STAR-Prompt-Strategie
- Zweistufiges Prompt-Tuning
- Experimente und Ergebnisse
- Leistungsvergleich mit anderen Methoden
- Ablationsstudien
- Auswirkungen verschiedener Teile von STAR-Prompt
Statystyki
Die Emergenz großer vorab trainierter Transformer hat das Anpassungsparadigma verändert.
Prompt-Tuning hat gute Ergebnisse in verschiedenen CL-Vorschlägen erzielt.
Cytaty
"Prompt-Tuning hat gute Ergebnisse in verschiedenen CL-Vorschlägen erzielt."
"Die Emergenz großer vorab trainierter Transformer hat das Anpassungsparadigma verändert."