自己監督学習におけるマスク付きオートエンコーダーの表現学習を向上させるためのカリキュラム学習アプローチが紹介されました。この新しい方法は、増加する複雑性レベルのマスクを生成するための新しい学習可能なマスキングモジュールを活用しています。4つの損失関数を提案して、マスキングモジュールが決定的(バイナリに近い)、多様で、所定のマスキング比率と複雑性に適合するように学ぶことを確認しています。カリキュラム学習は、共感的な目標(MAEを支援する)から敵対的な目標(MAEを混乱させる)へとトレーニング中に変化し、容易から困難なカリキュラム学習セットアップを生成します。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Neelu Madan,... at arxiv.org 02-29-2024
https://arxiv.org/pdf/2308.16572.pdfDeeper Inquiries