核心概念
Curriculum learning enhances masked autoencoders for robust representation learning.
摘要
自己監督学習におけるマスク付きオートエンコーダーの表現学習を向上させるためのカリキュラム学習アプローチが紹介されました。この新しい方法は、増加する複雑性レベルのマスクを生成するための新しい学習可能なマスキングモジュールを活用しています。4つの損失関数を提案して、マスキングモジュールが決定的(バイナリに近い)、多様で、所定のマスキング比率と複雑性に適合するように学ぶことを確認しています。カリキュラム学習は、共感的な目標(MAEを支援する)から敵対的な目標(MAEを混乱させる)へとトレーニング中に変化し、容易から困難なカリキュラム学習セットアップを生成します。
統計資料
マスク付きオートエンコーダー(CL-MAE):ImageNetでMAEよりも優れた表現学習能力を示す。
ViT-B, ViT-L, ViT-H:異なるバックボーンでCL-MAEがMAEよりも優れた結果を示す。
引述
"Curriculum learning operates on the premise that models learn to solve tasks in the increasing order of their complexity."
"Our method involves generating masks of increasing complexity using a novel learnable masking module."
"Our empirical results showed that CL-MAE learns better representations compared to MAE."