大規模言語モデルにおける線形表現の起源について

大規模言語モデルにおける高レベルな意味概念が「線形的に」符号化される原因を研究し、次トークン予測の概念ダイナミクスを数学的に分析しています。