本論文は、大規模言語モデル(LLM)の計算能力を古典的な計算理論の観点から分析している。
まず、固定された(非適応型)LLMは決定性有限状態トランスデューサと計算的に同等であることを示した(定理1、2、3)。これは、LLMの基本的な計算能力を特徴づけるものである。
次に、空間制限付きチューリング機械をLLMによって模擬できることを示した(定理4、系1)。この結果は、LLMの内部表現(単語埋め込み)のサイズと、模擬するチューリング機械の空間複雑性の関係を明らかにしている。
さらに、進化する系列のLLMと対話型チューリング機械と助言を持つ機械が計算的に同等であることを示した(定理5、6、7)。これにより、進化するLLMは超チューリング計算能力を持つことが明らかになった。
この結果は、LLMによる知識生成が一般に非アルゴリズム的なプロセスであることを示唆している。
最後に、極めて大規模な有限状態システムの知識生成能力とその限界、およびLLM技術によってもたらされたAIパラダイムシフトについて議論している。
เป็นภาษาอื่น
จากเนื้อหาต้นฉบับ
arxiv.org
สอบถามเพิ่มเติม