大規模言語モデルは推論と計画が可能か？

Core Concepts

大規模言語モデルは、原則的な推論を行うことができないが、近似検索に優れており、計画や推論に支援的役割を果たす可能性がある。

Abstract

大規模言語モデル（LLMs）は、ウェブスケールの言語コーパスで訓練されたn-gramモデルであり、近似検索を行うことが得意。しかし、厳密な推論や計画には適していない。LLMsはアイデア生成に優れており、その能力は「LLM-Modulo」フレームワークで利用可能。一方で、自己検証では性能が低下し、正確な解決策を生成することが困難。人間の介入によるプロンプトも影響を受ける。
LLMsは計画知識の抽出に優れており、外部検証者や専門家の協力を得て問題解決に活用可能。ただし、外部検証者による確認が必要。これらの特性から、「LLM-Modulo」フレームワークは重要な方法論として浮上している。

Stats

GPT3.5は約3001グラムの言語モデルである。
GPT4はBlocks Worldで30%の経験的精度を達成した。

Quotes

"大規模言語モデル（LLMs）はゼロショットタスクへの対応能力を持つ" - 著者
"自己検証パフォーマンスが悪化する" - 研究所からの報告
"LLMsは近似タスク関連知識を提供する際に現代AIと見なされる" - 著者

Key Insights Distilled From

Can Large Language Models Reason and Plan?

by Subbarao Kam... at arxiv.org 03-08-2024

https://arxiv.org/pdf/2403.04121.pdf

Deeper Inquiries

人間以外の検証者が最終解決策の正確性を保証する方法について考えますか

外部のモデルベースの計画検証者にバックプロンプティングを行わせ、最終的な解決策の正確性を保証させる方法は非常に重要です。このアプローチでは、LLMが生成した計画案に対して外部検証者がフィードバックし、最終的な解決策の正当性を確認します。このような枠組みでは、LLMの驚異的なアイデア発生能力と外部検証者と共に問題解決や計画作成をサポートすることが可能です。

LLMsが計画/推論能力を持っていると主張する高名なAI会議の論文群についてどう考えますか

高名なAI会議で主張されているLLMsの計画能力については注意深く分析する必要があります。多くの論文は一見するとLLMsから抽出された一般的な計画知識を実行可能な計画と混同しています。しかし、これらの研究では具体的なドメイン知識やタスク間相互作用を無視したり、人間介在下で推論/計画処理を行っている場合があります。そのため、厳密さや実現可能性から離れた抽象度高い「ウェディング・プラン」等だけであれば完全実行不可でも適切だと思われるかもしれません。

「もし何でも知っている人物から知識を得られる場合、どのように計画しますか

何でも知っている人物からどんな種類の知識でも得られる場合、私たちはそれら情報源から得られた近似モデル（例えばLLMs）を活用して問題解決すべきです。「もしそんじょそこらで何か教えてくれ」という立場であった時代に比べて今日では、「お前自身で考えろ」という指導法が主流化しています。この新しいトレンドは従来型AIシステム向けに明示されたドメイン知識（例：エキスパート意見）戻す形式であっただけに関連付けられます。