Core Concepts
MLO-MAEは、下流タスクからのフィードバックを活用して最適なマスキング戦略を自動的に学習し、視覚表現学習で優れた成果を上げます。
Abstract
MLO-MAEは、一貫性のあるグリッドを提供し、より詳細で微妙な特徴を捉えることができる小さなパッチ数の増加によって効果的です。これは、小さな画像では各ピクセルが重要な情報を持つ可能性があるためです。また、MLO-MAEは異なるデータセットに対する効果的な転移能力を示しました。
Stats
MLO-MAEはImageNetで1083時間かかりました。