Wie können Rückmeldungen die semantische Verankerung in großen Vision-Sprache-Modellen verbessern?
Vision-Sprache-Modelle können ihre semantische Verankerung durch Rückmeldungen verbessern, ohne dass zusätzliche domänenspezifische Trainingsdaten, Feinabstimmung oder Änderungen an den Netzwerkarchitekturen erforderlich sind.
Effizientes Finetuning von Vision-Language-Modellen unter Beibehaltung der Out-of-Distribution-Generalisierung
Unser Ziel ist es, ein Vision-Language-Modell ohne Beeinträchtigung seiner Out-of-Distribution-Generalisierung feinzustimmen. Wir verwenden zwei Arten von Ankern, um den Feinabstimmungsprozess zu regulieren und die ursprüngliche Merkmalsstruktur des Modells beizubehalten.
Aktives Prompt-Lernen in Vision-Sprache-Modellen zur effizienten Anpassung an neue Aufgaben
Durch die Nutzung des Vorwissens von VLMs kann ein neuartiger aktiver Lernansatz entwickelt werden, der die Leistung bei der Anpassung an neue Aufgaben deutlich verbessert.
Reparatur von spärlichen Vision-Sprache-Modellen durch sparses Cross-Modality-Anpassung
RESSA nutzt Cross-Modality-Feinabstimmung und SparseLoRA, um die Leistung von geprünten Vision-Sprache-Modellen signifikant zu verbessern.
Entdeckung der zugrunde liegenden Fähigkeiten und Verzerrungen großer Vision-Sprache-Modelle durch Transferlernen
Durch eine umfangreiche Transferlernanalyse werden sechs interpretierbare Faktoren und Verzerrungen identifiziert, die die Leistung von Vision-Sprache-Modellen auf verschiedenen Tests beeinflussen.
Verbesserung der Kompositionsstruktur in großen Vision-Sprache-Modellen durch iteratives Lernen
Iteratives Lernen kann die Kompositionsstruktur in großen Vision-Sprache-Modellen verbessern, indem es Darstellungen erzeugt, die leicht zu lernen sind.
Untersuchung der Kompositionsfähigkeit großer generativer Vision-Sprache-Modelle
Große generative Vision-Sprache-Modelle zeigen eine Neigung zur syntaktischen Korrektheit, anstatt die visuelle und sprachliche Semantik ganzheitlich zu erfassen.
Erkennung unlösbarer Probleme: Bewertung der Zuverlässigkeit von Vision-Sprache-Modellen
Dieser Artikel führt eine neuartige und bedeutende Herausforderung für Vision-Sprache-Modelle (VLMs) ein, die als "Erkennung unlösbarer Probleme" (Unsolvable Problem Detection, UPD) bezeichnet wird. UPD untersucht die Fähigkeit von VLMs, Antworten zurückzuhalten, wenn sie mit unlösbaren Problemen in visuellen Frage-Antwort-Aufgaben konfrontiert werden.
Kontinuierliches Lernen mit probabilistischem Finetuning für Vision-Sprache-Modelle
Das Kernkonzept dieser Arbeit ist die Entwicklung eines probabilistischen Finetuning-Ansatzes namens CLAP4CLIP, der die Unsicherheiten bei der Anpassung des leistungsfähigen CLIP-Modells an eine Reihe von kontinuierlichen Aufgaben berücksichtigt. CLAP4CLIP nutzt eine visuelle geführte Aufmerksamkeitsmodule und aufgabenspezifische Verteilungskodierer, um die Anpassung an neue Aufgaben zu verbessern und das Vergessen zu reduzieren.
Mini-Gemini: Effiziente und leistungsstarke Multimodalitäts-Vision-Sprache-Modelle
Mini-Gemini ist ein einfacher und effektiver Rahmen, der die Multimodalität von Vision-Sprache-Modellen (VLMs) verbessert. Durch den Einsatz von hochauflösenden visuellen Token, hochwertigeren Daten und VLM-gesteuerter Generierung kann Mini-Gemini die Leistung und den Funktionsumfang aktueller VLMs deutlich steigern.
