Transformerモデル内のAttentionヘッドは、特定のコンテキストを認識し、それに関連付けられたトークンを予測するMLPニューロンを活性化することで、次トークン予測に寄与している。
Transformerモデルの入力空間における等価クラスを探索する新しい手法は、モデルの解釈可能性と感度分析に貢献します。
