相互選択型および特徴選択型スパースオートエンコーダを用いた適応スパース割り当て

本稿では、スパースオートエンコーダ（SAE）におけるトークンと特徴のマッチングをリソース割り当て問題として捉え直し、従来のTopK SAEよりも優れた、特徴選択型SAEと相互選択型SAEという2つの新しいSAEアーキテクチャを提案する。これらの手法は、標準的なSAEの適応計算能力とTopK SAEのシンプルな最適化およびパフォーマンス向上を兼ね備えている。