Das Papier untersucht die Auswirkungen von unüberwachtem Pretraining auf die Verallgemeinerung von Modellen. Es stellt fest, dass die Verallgemeinerung von der Übertragbarkeit der Repräsentation, der durch die Repräsentation induzierten Rademacher-Komplexität, der Aufgabenheterogenität und der Verallgemeinerung der Pretraining-Aufgabe abhängt. Zwei Szenarien, Context Encoder und Masked Autoencoder Pretraining, werden analysiert. Eine neue Rademacher-Repräsentationsregularisierung wird vorgeschlagen und experimentell validiert.
Başka Bir Dile
kaynak içeriğinden
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Yuyang Deng,... : arxiv.org 03-12-2024
https://arxiv.org/pdf/2403.06871.pdfDaha Derin Sorular