
本研究では、構造化拡散と白箱型トランスフォーマーを組み合わせた新しいアーキテクチャCRATE-MAEを提案する。CRATE-MAEは、データ分布を数学的に解釈可能な方法で段階的に変換し、マスク補完タスクにおいて優れた性能を発揮する。


coremsg

構造化拡散を用いた白箱型トランスフォーマーによる効率的なマスク補完


深層生成モデルは低レベルの特徴を学習しがちであり、その負対数尤度の下限は入力と出力の条件エントロピーによって決まる。本手法は、画像の一部を消去することで各データセットに固有の条件エントロピー分布を作り出し、これを利用して転移可能な分布外検知を実現する。



画像の特徴を捨てることで学習する - 条件エントロピーに基づく転移可能な分布外検知
