Eine empirische Studie zur parametereffizienteren Feinabstimmung von Vision-Language-Vortrainingsmodellen
Die Leistung verschiedener parametereffizienteren Feinabstimmungsmethoden hängt davon ab, ob die Zielaufgabe und -daten konsistent mit der Vortrainingsaufgabe sind. Bei konsistenter Zielaufgabe beeinflusst die Datengröße die Leistung nicht, während der Einfluss der Größe der feinabzustimmenden Parameter nicht monoton ist.