Kontinuierliches Lernen mit probabilistischem Finetuning für Vision-Sprache-Modelle

Das Kernkonzept dieser Arbeit ist die Entwicklung eines probabilistischen Finetuning-Ansatzes namens CLAP4CLIP, der die Unsicherheiten bei der Anpassung des leistungsfähigen CLIP-Modells an eine Reihe von kontinuierlichen Aufgaben berücksichtigt. CLAP4CLIP nutzt eine visuelle geführte Aufmerksamkeitsmodule und aufgabenspezifische Verteilungskodierer, um die Anpassung an neue Aufgaben zu verbessern und das Vergessen zu reduzieren.