Core Concepts
状態空間モデルは、トランスフォーマーと同様に、TC0クラスの問題しか解くことができない。つまり、順列合成などの固有の順次的な問題を表現することはできない。
Abstract
本論文では、状態空間モデル(SSM)の表現力の限界を分析している。
まず、線形SSMやMambaアーキテクチャのSSMは、トランスフォーマーと同様にTC0クラスの問題しか解くことができないことを理論的に示した。つまり、順列合成(S5問題)などの固有の順次的な問題を表現することはできない。
これは、SSMの「状態」が錯覚にすぎず、トランスフォーマーと同様の表現力の限界があることを意味する。一方、RNNは順列合成などの問題を簡単に表現できる。
さらに、実験的にも、SSMとトランスフォーマーは固定層数では順列合成問題を学習できないのに対し、RNNは単一層で学習できることを示した。これは、理論的な分析を支持する結果である。
最後に、SSMの表現力を高める2つの拡張方法を提案した。非線形性の追加やA行列の入力依存性の導入により、SSMでも順列合成問題を表現できるようになる。ただし、これらの拡張には並列性や学習ダイナミクスへの影響が懸念される。
Stats
状態空間モデルは、トランスフォーマーと同様にTC0クラスの問題しか解くことができない。
順列合成(S5問題)などの固有の順次的な問題は、TC0クラスを超えるNC1クラスに属する。
RNNは単一層で順列合成問題を学習できるが、SSMとトランスフォーマーは固定層数では学習できない。
Quotes
「SSMの『状態』は錯覚にすぎない:SSMはトランスフォーマーと同様の表現力の限界に悩まされる」
「SSMは、本質的に順次的な問題を解くことができない」