Wie Multimodale Kontrastive Lernverfahren Robustheit gegenüber Verteilungsverschiebungen erlangen

Multimodale kontrastive Lernverfahren wie CLIP erzielen eine höhere Robustheit gegenüber Verteilungsverschiebungen als überwachte Lernverfahren, da sie zwei Mechanismen nutzen: Intra-Klassen-Kontrast, der die Modelle dazu bringt, generalisierbare Merkmale mit hoher Varianz zu lernen, und Inter-Klassen-Merkmalsaustausch, bei dem annotierte Details in einer Klasse das Lernen anderer Klassen verbessern.