Główne pojęcia
Die Leistung verschiedener parametereffizienteren Feinabstimmungsmethoden hängt davon ab, ob die Zielaufgabe und -daten konsistent mit der Vortrainingsaufgabe sind. Bei konsistenter Zielaufgabe beeinflusst die Datengröße die Leistung nicht, während der Einfluss der Größe der feinabzustimmenden Parameter nicht monoton ist.
Streszczenie
Die Studie untersucht empirisch, wie sich die verfügbare Datengröße und die Größe der feinabzustimmenden Parameter auf die Leistung verschiedener parametereffizienteren Feinabstimmungsmethoden (PEFTs) auswirken.
Für zwei Downstream-Aufgaben im Bereich Vision und Sprache (VL) - Bildunterschrift und Bildfragestellung - werden fünf PEFT-Methoden evaluiert: Prompt-Tuning, Prefix-Tuning, LoRA, serielle Adapter-Tuning und parallele Adapter-Tuning.
Die Ergebnisse zeigen, dass die Leistung der PEFTs nur dann positiv mit der Datengröße und der Größe der feinabzustimmenden Parameter korreliert, wenn die Downstream-Aufgabe und -Daten nicht konsistent mit der Vortrainung sind. Bei konsistenter Downstream-Aufgabe beeinflusst die Datengröße die Leistung nicht mehr, während der Einfluss der Größe der feinabzustimmenden Parameter nicht monoton ist.
Diese Beobachtungen könnten die Wahl der Trainingsstrategie für verschiedene PEFTs leiten. Darüber hinaus zeigen die Ergebnisse, dass Methoden mit Schichtkomposition (z.B. LoRA) in Bezug auf Trainingseffizienz und Leistung möglicherweise besser für die Downstream-Anpassung von VL-Vortrainingsmodellen geeignet sind.
Statystyki
Die Leistung verschiedener PEFTs ist unabhängig von der verfügbaren Datengröße, wenn die Downstream-Aufgabe und -Daten konsistent mit der Vortrainung sind.
Die Leistung verschiedener PEFTs korreliert positiv mit der verfügbaren Datengröße, wenn die Downstream-Aufgabe und -Daten nicht konsistent mit der Vortrainung sind.
Die Leistung verschiedener PEFTs korreliert positiv mit der Größe der feinabzustimmenden Parameter, unabhängig davon, ob die Downstream-Aufgabe und -Daten konsistent mit der Vortrainung sind.
Gleichzeitiges Feinabstimmen des finalen Klassifikators kann die Leistung auf inkonsistenten Downstream-Aufgaben weiter verbessern, hat aber auf konsistente Downstream-Aufgaben keinen monotonen Einfluss.
Cytaty
"Die Leistung der getesteten PEFTs ist unabhängig von unterschiedlichen verfügbaren Datengrößen der MSCOCO-Bildunterschriften, was anders ist als unsere Intuition."
"Die Leistung aller getesteten PEFTs steigt stetig an, wenn die verfügbare Trainingsdatengröße von VQAv2 zunimmt."