Core Concepts
データ拡張による情報の欠如を解決するため、CompModモジュールが自己監督フレームワークを補完し、一般化能力を向上させる。
Abstract
本論文では、データ拡張によって自己監督学習モデルの性能が低下する可能性があることから、新しいCompModモジュールを設計して提案されています。このモジュールは、最大エントロピー符号化に基づく制約とバイレベル最適化メカニズムを利用して、より多くの情報を発見し、学習済みモデルの一般化を向上させます。また、因果解釈は提案手法への理論的サポートを提供します。実験結果は、さまざまな下流タスクで提案手法の有効性を確認しています。
Stats
SimCLR+: CIFAR-10で91.03%〜91.87%の精度向上
BYOL+: CIFAR-10で92.58%〜93.96%の精度向上
Quotes
"Contrastive and non-contrastive self-supervised learning recover global and local spectral embedding methods." - Garrido et al.
"Bootstrap your own latent-a new approach to self-supervised learning." - Grill et al.