Core Concepts
提案するDGMambaは、未知のドメインに対する強い一般化性能を発揮し、かつグローバルな受容野と効率的な線形計算量の利点を持つ。
Abstract
本論文は、State Space Model (SSM)ベースのモデルであるMambaをドメイン一般化(DG)に適用する初めての試みである。DGにおいてMambaが直面する課題は以下の2点である:
- 隠れ状態に蓄積される非セマンティックな情報がドメイン特有の特徴を増幅し、一般化性能を低下させる。
- 2D画像を1D系列データに変換する際の固定的なスキャン手法では、ドメイン特有の情報が生成された系列データに含まれてしまう。
そこで本論文では、以下の2つの核心的な手法を提案する:
- Hidden State Suppressing (HSS): 隠れ状態の中でドメイン特有の情報を含む部分を抑制することで、ドメイン不変な特徴の学習を促進する。
- Semantic-aware Patch Refining (SPR):
- Prior-Free Scanning (PFS): コンテキストパッチをランダムにシャッフルすることで、固定的なスキャン順序に依存しない柔軟な系列データを生成する。
- Domain Context Interchange (DCI): コンテキストパッチを他ドメインのものと置き換えることで、ドメイン間のテクスチャ情報の違いを学習する。
提案手法DGMambaは、4つの一般的なDGベンチマークにおいて、最先端の手法を大きく上回る一般化性能を示した。特に、従来手法では難易度の高い「スケッチ」ドメインでの性能が大幅に向上した。また、パラメータ数とFLOPSの観点でも効率的であることが示された。
Stats
提案手法DGMambaは、PACS データセットにおいて、平均精度91.2%を達成し、最先端手法を2.4ポイント上回った。
OfficeHomeデータセットでは、平均精度77.0%を達成し、最先端手法を6.4ポイント上回った。
TerraIncognitaデータセットでは、平均精度54.6%を達成し、最先端手法を4.8ポイント上回った。
Quotes
"提案するDGMambaは、未知のドメインに対する強い一般化性能を発揮し、かつグローバルな受容野と効率的な線形計算量の利点を持つ。"
"Hidden State Suppressing (HSS)は、隠れ状態の中でドメイン特有の情報を含む部分を抑制することで、ドメイン不変な特徴の学習を促進する。"
"Prior-Free Scanning (PFS)は、コンテキストパッチをランダムにシャッフルすることで、固定的なスキャン順序に依存しない柔軟な系列データを生成する。"
"Domain Context Interchange (DCI)は、コンテキストパッチを他ドメインのものと置き換えることで、ドメイン間のテクスチャ情報の違いを学習する。"