Der Artikel stellt TRAM (Trust Region Aware Minimization) vor, eine neue Optimierungsmethode, die Schärfe-bewusste Minimierung (SAM) mit Vertrauensbereichsoptimierung kombiniert, um die Domänengeneralisierung zu verbessern.
Bisherige Methoden wie SAM konzentrieren sich auf die Minimierung der Schärfe im Parameterraum, während Vertrauensbereichsmethoden die Glattheit der Repräsentationen im Funktionsraum fördern. TRAM vereint diese beiden Ansätze, indem es den SAM-Optimierungsschritt durch einen Vertrauensbereich im Funktionsraum beschränkt. Dadurch werden sowohl flachere Minima im Parameterraum als auch glattere Repräsentationen im Funktionsraum erzielt, was die Übertragbarkeit auf neue Domänen verbessert.
TRAM wird in verschiedenen Szenarien evaluiert, darunter Bildklassifikation über Datensätze hinweg, Sprachmodellierung über Domänen hinweg und Nullshot-Sprachübertragung. TRAM übertrifft dabei die Leistung von SAM-basierten und Vertrauensbereichsmethoden, insbesondere bei schwierigen Verteilungsverschiebungen. Die Analyse zeigt, dass TRAM zu einer flacheren Verlustfläche und ähnlicheren Repräsentationen zwischen Trainings- und Zieldomänen führt.
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Tom Sherborn... ב- arxiv.org 03-13-2024
https://arxiv.org/pdf/2310.03646.pdfשאלות מעמיקות