現実世界のタスクを実行可能なツールを用いて評価する、汎用ツールエージェントのためのベンチマーク：GTA

핵심 개념

現実世界のタスクを解決するために大規模言語モデル（LLM）を様々なツールと統合することの重要性が高まっているが、既存のLLMのツール活用能力は、実際のシナリオに十分に対応できるレベルに達していない。

초록

GTAベンチマーク：現実世界のタスクにおけるLLMのツール活用能力評価

本稿では、現実世界のタスクを解決するために、大規模言語モデル（LLM）にツールを使わせる能力を評価するための新しいベンチマーク、GTA (General Tool Agents) が提案されています。

従来のツール活用能力の評価には、AIが生成したクエリ、単段階タスク、ダミーツール、テキストのみのインタラクションなどが用いられてきました。しかし、これらの評価方法は、実際のシナリオを反映しているとは言えず、LLMの真の問題解決能力を明らかにすることができませんでした。

GTAは、現実世界のシナリオをより正確に反映するために、人間が設計したクエリ、実際にデプロイされたツール、マルチモーダルなインタラクションという3つの主要な側面を特徴としています。
人間が設計した現実的なクエリ
GTAのクエリは、AIではなく人間によって設計されており、現実世界のタスクを正確に反映しています。これらのクエリは明確な目的を持つタスクを記述していますが、ツールの使用手順は暗黙的に示されています。そのため、LLMは、与えられたタスクに対処するために適切なツールを推論し、解決策の手順を計画する必要があります。
実際にデプロイされたツール
GTAは、知覚、操作、論理、創造性などの様々なカテゴリにわたるツールを備えた評価プラットフォームを提供します。すべてのツールは、テキストによるシミュレーションではなく、実際に実行可能なものです。各タスクには、各ツール使用ステップと最終的な回答を含む、詳細かつ実行可能なグランドトゥルーツールチェーンが用意されています。
マルチモーダルな入力
各クエリには、空間シーン、Webページのスクリーンショット、表、コードスニペット、印刷物/手書き資料など、1つまたは2つの実際の画像ファイルが添付されており、ユーザーのクエリのコンテキストとして機能します。LLMは、マルチモーダルなコンテキストとユーザーのクエリに基づいて問題を解決する必要があります。この設定は、現実世界の問題解決シナリオと密接に一致しています。

핵심 통찰 요약

GTA: A Benchmark for General Tool Agents

by Jize Wang, Z... 게시일 arxiv.org 11-25-2024

https://arxiv.org/pdf/2407.08713.pdf

더 깊은 질문

GTAは、LLMのツール活用能力を評価するための重要な一歩ですが、今後、どのような評価指標やタスクが追加されるべきでしょうか？

GTAは現実世界のツール利用により近い評価を目指していますが、まだ発展の余地があります。今後追加すべき評価指標やタスクは以下の点が考えられます。

より複雑で多様なタスク:

現在のGTAは、比較的短時間で解決できるタスクが中心です。今後は、より複雑で多段階の推論や計画を必要とするタスク、例えば旅行の計画や買い物のサポートなど、より現実世界に近いタスクの追加が重要です。
また、異なる文化圏のユーザーを想定したタスクや、倫理的な判断が求められるタスクなども評価対象とすることが考えられます。

ツール間の連携の評価:

現在のGTAでは、ツールを単独で使用するタスクが多いですが、現実世界では複数のツールを組み合わせて使う場面が多くあります。例えば、Web検索で情報収集した後に、表計算ソフトでデータを分析するといった具合です。このように、複数のツールを連携させて複雑なタスクを解決できる能力を評価する指標やタスクの追加が望まれます。

長期的な評価:

現在のGTAは、単一のセッションにおけるLLMの性能を評価していますが、現実世界では、長期にわたってユーザーと対話し、過去の文脈を理解しながらタスクを遂行することが求められます。LLMが長期的な文脈を理解し、過去の経験を活かしてツールを使いこなせるかどうかを評価する指標やタスクの導入が考えられます。

ユーザーとのインタラクションの評価:

現在のGTAは、ユーザーからのクエリに対してLLMがツールを使って回答するシナリオを想定していますが、現実世界では、ユーザーとLLMが対話しながらタスクを進める場面も多くあります。LLMがユーザーの意図を理解し、適切な質問を返したり、確認を取ったりしながら、協調的にタスクを遂行できるかどうかを評価する指標やタスクの導入が考えられます。

安全性と倫理性の評価:

ツールを使用する際、安全性と倫理性を考慮することは非常に重要です。LLMが倫理的に問題のあるツール利用や、ユーザーに危害を加える可能性のあるツール利用を避けることができるかどうかを評価する必要があります。

既存のLLMの多くは、ツール呼び出しの際にフォーマットエラーを起こしやすいという問題がありますが、この問題を解決するために、どのようなアプローチが考えられるでしょうか？

フォーマットエラーは、LLMがツールを正しく理解し、適切な形式で呼び出すことができていないために起こります。この問題を解決するためのアプローチとしては、以下の３つの観点からの取り組みが考えられます。

学習データの改善:

ReAct形式のデータ強化: ReActのような、思考、行動、行動入力のステップを明確にしたデータ形式で、より多くのツール呼び出しの成功例と失敗例をLLMに学習させることで、フォーマットエラーを減らす効果が期待できます。
JSONフォーマットの学習: ツール呼び出しで頻繁に用いられるJSONフォーマットを、LLMが正しく生成できるように、JSONフォーマットに特化した学習データを追加するのも有効です。
エラーケースからの学習: 過去のフォーマットエラーの事例を分析し、エラーの原因となったパターンをLLMに学習させることで、同様のエラーを繰り返さないようにすることができます。

モデルアーキテクチャの改善:

フォーマット生成に特化したモジュール: ツール呼び出しに必要なフォーマットを生成することに特化したモジュールをLLMに追加することで、フォーマットエラーを減らすことができます。
構造化データの理解向上: JSONのような構造化データを、LLMがより深く理解できるように、モデルのアーキテクチャを改善する研究も必要です。

推論時の制御:

フォーマットチェック機構: LLMが生成したツール呼び出しのフォーマットを、実行前にチェックする機構を導入することで、フォーマットエラーによる実行時エラーを防ぐことができます。
制約付きデコーディング: LLMの出力形式を、ツール呼び出しに必要なフォーマットに制約する制約付きデコーディングを用いることで、フォーマットエラーを減らすことができます。

これらのアプローチを組み合わせることで、LLMのフォーマットエラーを効果的に減らし、より正確で信頼性の高いツール利用を実現できると考えられます。

LLMが人間と同様にツールを使いこなせるようになるためには、どのような技術革新が必要でしょうか？

LLMが人間のようにツールを使いこなす、つまり「ツールを理解し、状況に応じて適切に選択し、目的を達成するために創造的に活用する」ためには、まだまだ高いハードルがあります。いくつかの重要な技術革新が必要となるでしょう。

常識推論と因果関係の理解:

人間はツールを使う際、暗黙の常識や因果関係を理解しています。例えば、「ハンマーは釘を打つために使うもの」といった常識や、「ハンマーで強く叩けば釘は深く刺さる」といった因果関係です。LLMが人間のようにツールを使いこなすには、このような常識推論や因果関係の理解を深める必要があります。
このためには、大規模な知識グラフや常識データベースとLLMを統合したり、現実世界の物理法則や社会規範を学習させるための新たな手法を開発する必要があるでしょう。

複合的なタスク分解と計画能力:

人間は複雑なタスクを、複数の簡単なサブタスクに分解し、それぞれのサブタスクに適切なツールを割り当てて計画を立てます。LLMも同様に、複雑なタスクを理解し、ツールを活用した段階的な計画を立案できるようになる必要があります。
このためには、階層的なタスクプランニングや、ツール利用を含めた強化学習の手法をLLMに適用する研究が重要となるでしょう。

環境とのインタラクション:

人間は視覚、聴覚、触覚など五感を駆使して環境を認識し、ツールを操作します。LLMが現実世界のツールを使いこなすには、現実世界を認識し、操作するための身体性、つまりロボットやセンサー、アクチュエータと統合される必要があるでしょう。
また、現実世界の環境は常に変化するため、LLMは変化に柔軟に対応し、状況に応じて行動を修正できる能力も必要となります。

メタ認知能力:

人間は自分が「何を知っていて、何を知らないのか」を理解し、新たなツールやその使い方を学習することができます。LLMも同様に、自身の知識や能力の限界を認識し、不足している知識やスキルを自ら学習できるメタ認知能力を持つことが重要になります。
このためには、LLMに自己評価能力や、能動学習の仕組みを組み込む必要があるでしょう。

これらの技術革新は一朝一夕に達成できるものではありません。しかし、これらの課題を克服することで、LLMは単なる言語モデルを超え、人間のパートナーとして、より複雑で創造的なタスクを共に達成できる存在へと進化していくと考えられます。