本稿では、大規模言語モデルのコンテキストウィンドウ内外の動作メカニズムを、隠れ状態から分解された位置ベクトルを通じて分析し、位置ベクトルの形成過程と注意機構への影響、コンテキストウィンドウ拡張における位置ベクトルの補間効果を明らかにした。
大規模言語モデルのコンテキストウィンドウを拡張する際、ロータリー角度分布の一貫性を維持することが重要である。
