Core Concepts
大規模な言語モデルは、実世界を反映した一貫性のある空間と時間の表現を学習する。
Abstract
この記事では、大規模な言語モデル(LLMs)が実際の世界を反映した一貫性のある空間と時間の表現を学習することに焦点が当てられています。複数のスケールで空間および時間の線形表現を学習し、異なるエンティティタイプにわたって統一された表現を持つことが発見されました。さらに、個々の「空間ニューロン」と「時間ニューロン」が存在し、これらは領域や時系列座標を信頼性良く符号化しています。この結果から、現代のLLMsは実世界の豊かな時空間的表現を学習し、世界モデルの基本要素を備えている可能性が示唆されます。
Stats
LLMsは複数スケールで空間および時間の線形表現を学習する。
大きなモデルほど精度が高くなり、非線形プローブよりも線形プローブが優れている。
プローブは異なるエンティティタイプにわたって統一された表現を持つ。
Quotes
"大規模な言語モデル(LLMs)は実際の世界を反映した一貫性のある空間と時間の表現を学習する。"
"個々の「空間ニューロン」と「時間ニューロン」が存在し、これらは領域や時系列座標を信頼性良く符号化しています。"