Der Artikel präsentiert einen innovativen Ansatz für Test-Zeit-Training (TTT) namens Noise-Contrastive Test-Zeit-Training (NC-TTT). Dieser Ansatz basiert auf dem Konzept der Noise-Contrastive Schätzung (NCE), bei dem ein Diskriminator trainiert wird, um verrauschte In-Distribution-Merkmale von Out-of-Distribution-Merkmalen zu unterscheiden.
Während des Trainings auf der Quelldomäne lernt das Modell neben der Hauptklassifikationsaufgabe auch diese Diskriminierungsaufgabe. Während der Testzeit wird dann der Encoder des Modells so angepasst, dass die Merkmale vom Diskriminator als In-Distribution wahrgenommen werden. Dadurch kann die Leistung des Modells auf der Zieldomäne deutlich verbessert werden, ohne dass zusätzliche Trainingsdaten oder Etiketten benötigt werden.
Die Autoren zeigen in umfangreichen Experimenten auf verschiedenen Benchmarks, dass NC-TTT im Vergleich zu anderen State-of-the-Art-Methoden für Test-Zeit-Training deutlich bessere Ergebnisse erzielt. Insbesondere bei Bildklassifikationsaufgaben mit Domänenverschiebungen, wie z.B. CIFAR-10-C und VisDA-C, kann NC-TTT die Leistung signifikant steigern.
Til et annet språk
fra kildeinnhold
arxiv.org
Viktige innsikter hentet fra
by David Osowie... klokken arxiv.org 04-15-2024
https://arxiv.org/pdf/2404.08392.pdfDypere Spørsmål