GTA：一個針對真實世界工具代理的基準測試

Core Concepts

現有的評估工具與真實世界情境存在顯著差距，因此作者提出了 GTA，這是一個針對真實世界工具代理的基準測試，旨在評估大型語言模型在真實世界情境中使用工具的能力。

Abstract

GTA 基準測試介紹

這篇研究論文介紹了 GTA，一個用於評估大型語言模型在真實世界情境中使用工具能力的基準測試。

研究背景

近年來，將大型語言模型 (LLM) 與各種工具整合以開發通用代理已成為研究焦點。然而，現有的工具使用評估與真實世界情境之間存在顯著差距。目前的評估通常使用 AI 生成的查詢、單步驟任務、虛擬工具和純文字互動，無法有效揭示代理在真實世界中的問題解決能力。

GTA 的設計理念

為了應對這些挑戰，作者提出了 GTA，這是一個針對通用工具代理的基準測試，具有三個主要面向：

1. **真實的使用者查詢：**由人類撰寫的查詢，具有簡單的真實世界目標，但隱含了工具的使用，需要 LLM 推理合適的工具並規劃解決方案步驟。
2. **真實部署的工具：**一個配備了感知、操作、邏輯和創造力類別工具的評估平台，用於評估代理的實際任務執行效能。
3. **真實的多模態輸入：**真實的圖像檔案，例如空間場景、網頁截圖、表格、程式碼片段和列印/手寫材料，用作查詢上下文，以與真實世界情境緊密結合。

GTA 的內容

GTA 包含 229 個真實世界任務和相應的可執行工具鏈，用於評估主流 LLM。它涵蓋了 252 張圖像和 14 種不同的工具，分為感知、操作、邏輯和創造力四種類別。大多數問題需要使用 2 到 3 種工具，解決步驟在 2 到 4 步之間。

評估結果

評估結果顯示，真實世界的場景查詢對現有的 LLM 構成了挑戰，即使是像 GPT-4 這樣先進的模型也難以完成這些真實世界的任務，完成率不到 50%。大多數 LLM 的完成率都低於 25%。

主要發現

• 現有 LLM 在處理真實世界工具使用任務方面存在困難。
• 目前的瓶頸主要在於參數預測。
• 不同系列的 LLM 表現出不同的行為模式。

未來研究方向

• 將多語言查詢添加到基準測試中。
• 開發更強大的 LLM，以更好地處理真實世界的工具使用任務。

Stats

GPT-4 完成不到 50% 的任務。
大多數 LLM 的完成率都低於 25%。
GPT-4o 擁有最高的成功工具呼叫次數。
Claude-3 的錯誤主要與參數格式相關，佔 82.86%。

Quotes

"Significant focus has been placed on integrating large language models (LLMs) with various tools in developing general-purpose agents."
"However, there are evident gaps between existing tool-use evaluations and real-world scenarios."
"Our findings indicate that real-world scenario queries present challenges to existing LLMs, with GPT-4 completing fewer than 50% of the tasks and most LLMs managing less than 25%."

Key Insights Distilled From

GTA: A Benchmark for General Tool Agents

by Jize Wang, Z... at arxiv.org 11-25-2024

https://arxiv.org/pdf/2407.08713.pdf

Deeper Inquiries

如何設計更有效的訓練方法來提升 LLM 在真實世界情境中的工具使用能力？

提升 LLM 在真實世界情境中工具使用能力的訓練方法，可以參考以下幾點：
1. 強化參數預測能力：

更豐富的參數標註： 現有的工具使用評測數據集大多只關注工具選擇和調用結果的正確性，而忽略了對參數預測的精細化評估。 GTA數據集提供詳細的參數標註，可以幫助模型更好地學習參數預測。未來可以進一步擴展數據集，涵蓋更多樣化的工具和參數類型，並提供更詳細的參數描述和示例。
參數預測的專門訓練目標： 可以設計專門針對參數預測的訓練目標，例如在訓練過程中加入對參數類型、格式、取值範圍等的約束，或使用強化學習方法對參數預測的準確性進行獎勵。
結合程式碼生成技術： 許多工具的參數本質上是程式碼片段，可以借鑒程式碼生成領域的技術，例如使用抽象語法樹 (AST) 作為中間表示，或使用程式碼預訓練模型來提升 LLM 的參數預測能力。
2. 提升多模態理解和推理能力：

多模態數據集的構建： 真實世界的情境往往涉及多種模態的信息，例如圖像、文字、聲音等。構建包含多模態信息和對應工具使用策略的數據集，可以幫助模型學習在多模態環境下進行推理和決策。
多模態預訓練和微調： 可以採用多模態預訓練模型，例如 CLIP，ViT 等，來增強 LLM 對多模態信息的理解能力。
多模態提示工程： 設計更有效的提示模板，引導模型關注多模態信息，並將其與工具使用策略相結合。
3. 增強模型的規劃和執行能力：

多步推理和規劃： 真實世界的任務通常需要多個步驟才能完成。可以設計更複雜的任務，鼓勵模型進行多步推理和規劃，並學習根據執行結果動態調整策略。
真實工具的動態調用： 與真實工具進行交互，可以讓模型獲得更真實的反饋，並學習處理工具調用過程中可能出現的錯誤和異常。
模仿學習和強化學習： 可以利用人類專家的示範數據，例如 GTA 數據集提供的可執行工具鏈，來訓練模型模仿人類的工具使用策略。
4. 提升模型的泛化能力：

跨領域知識遷移： 可以探索如何將模型在一個領域學習到的工具使用知識遷移到其他領域，例如將機器人領域的工具使用經驗遷移到軟體開發領域。
元學習和少樣本學習： 可以利用元學習和少樣本學習方法，讓模型快速適應新的工具和任務。

如果將 GTA 基準測試擴展到其他領域，例如機器人或軟體開發，結果會有何不同？

如果將 GTA 基準測試擴展到其他領域，例如機器人或軟體開發，預計結果會呈現以下差異：
1. 機器人領域：

更強調感知和操作能力： 機器人需要與物理世界進行交互，因此對感知和操作能力的要求更高。 GTA 中的感知工具 (例如 OCR, ImageDescription) 和操作工具 (例如 DrawBox) 在機器人領域會更加重要。
需要處理更多的不確定性： 真實世界的環境充滿了不確定性，例如感測器噪聲、物體遮擋、環境變化等。機器人需要學會應對這些不確定性，並做出魯棒的決策。
安全性更加重要： 機器人的動作可能會對環境和人類造成影響，因此安全性是至關重要的。評估指標需要考慮到安全因素，例如避免碰撞、防止損壞等。
2. 軟體開發領域：

更強調邏輯和推理能力： 軟體開發需要進行複雜的邏輯推理和程式碼設計，因此對模型的邏輯和推理能力要求更高。 GTA 中的邏輯工具 (例如 Calculator, Solver) 在軟體開發領域會更加重要。
需要處理更抽象的概念： 軟體開發涉及許多抽象的概念，例如數據結構、算法、設計模式等。模型需要理解這些抽象概念，並將其應用到具體的程式碼實現中。
程式碼生成和調試能力至關重要： 軟體開發的核心是程式碼生成和調試。評估指標需要考慮到程式碼的正確性、效率、可讀性等因素。
總體而言，將 GTA 基準測試擴展到其他領域需要考慮該領域的特殊需求和挑戰，並設計相應的工具、任務和評估指標。

人工智慧在未來是否能完全取代人類在真實世界中使用工具的能力？

雖然人工智慧在工具使用方面取得了顯著進展，但要完全取代人類在真實世界中使用工具的能力，仍面臨著巨大的挑戰。
1. 人類具備常識和推理能力： 人類可以根據常識和經驗進行推理，並在面對新情況時靈活地調整工具使用策略。目前的人工智慧系統在這方面還存在很大差距，它們的推理能力大多局限於訓練數據中涵蓋的知識。
2. 人類擁有創造力和適應性： 人類可以發明新的工具，並根據環境和任務需求創造性地使用現有工具。人工智慧系統的創造力和適應性還遠不及人類，它們大多只能按照預先設定的程式執行任務。
3. 人類具備社會和情感智能： 在許多情況下，工具的使用需要與他人合作完成。人類可以理解他人的意圖，並進行有效的溝通和協作。人工智慧系統在社會和情感智能方面還處於初級階段，難以完全理解和適應複雜的社會環境。
因此，可以預見在未來很長一段時間內，人工智慧和人類在工具使用方面將是互補而非取代的關係。人工智慧可以幫助人類完成重複性、高風險、高精度的任務，而人類則可以發揮創造力、適應性和社會智能，解決更複雜、更靈活的問題。