言語モデルの活性化を解釈可能な特徴に分解するための改良された辞書学習手法

スパースオートエンコーダ(SAE)は、言語モデルの活性化を解釈可能な線形特徴の組み合わせとして分解する有効な手法である。本研究では、ゲートスパースオートエンコーダ(Gated SAE)を提案し、従来のSAEよりも高い再構成精度と疎性を達成できることを示した。