大規模言語モデルは、事前の学習データを超えた複雑な能力を発揮するが、その内部メカニズムは不明確である。本研究では、ランダムバイナリーシーケンスを用いて、文脈依存学習の動態を分析し、モデルが潜在的に学習する概念を解釈する。