嬰兒代理：一個整合工具、邏輯驅動，並具有成本效益 API 使用的代理

核心概念

本文介紹了一種名為 INFANT AGENT 的新型大型語言模型代理，它整合了任務感知功能、運算符、分層管理系統和記憶檢索機制，能夠有效解決現實世界的工程問題和複雜的邏輯問題，同時顯著降低 API 成本。

摘要

論文資訊

標題：嬰兒代理：一個整合工具、邏輯驅動，並具有成本效益 API 使用的代理
作者：Bin Lei, Yuchen Li, Yiming Zeng 等人
年份：2024

研究目標

本研究旨在開發一種能夠克服大型語言模型 (LLM) 現有局限性的代理，使其能夠自主解決現實世界的工程問題，並有效處理複雜的邏輯推理任務。

方法

研究人員開發了 INFANT AGENT，這是一種完全自主的多代理工作流程，整合了逐步推理、工具調用、環境交互、回饋調整和評估總結。INFANT AGENT 採用分層協作結構，將代理分為腦級代理和手級代理，腦級代理負責所有推理，而手級代理則負責通過調用不同的工具（例如檔案編輯、網頁瀏覽和程式碼執行）來執行任務。此外，INFANT AGENT 還採用記憶檢索機制，通過在推理過程中檢索代理的歷史記憶，並將推理和任務執行部分分開，從而減少 API 權杖成本。

主要發現

實驗結果顯示，INFANT AGENT 在 SWE-bench-lite 數據集上的準確率從 0.33% 提升至 30%，在 AIME-2024 數學競賽中，準確率從 13.3% 提升至 37%。此外，與每次推理都使用完整記憶相比，INFANT AGENT 的記憶檢索機制將 API 權杖成本降低了近 80%。

主要結論

INFANT AGENT 通過整合任務感知功能、運算符、分層管理系統和記憶檢索機制，有效解決了現實世界的工程問題和複雜的邏輯問題，同時顯著降低了 API 成本。

意義

本研究提出了一種有效的大型語言模型代理架構，為開發更強大、更通用的 AI 代理提供了新的思路。

局限性和未來研究方向

未來研究方向包括將 INFANT AGENT 擴展到多模態，訓練檔案編輯模型，通過強化學習增強 GPT 的錯誤糾正能力，以及教導模型如何使用工具而不是使用冗長的提示。

統計資料

使用 INFANT AGENT 後，GPT-4o 在 SWE-bench-lite 數據集上的準確率從 0.33% 提升至 30%。
在 AIME-2024 數學競賽中，INFANT AGENT 將 GPT-4o 的準確率從 13.3% 提升至 37%。
INFANT AGENT 的記憶檢索機制將 API 權杖成本降低了近 80%。
在程式碼任務中，使用分層結構後，錯誤調用瀏覽器命令的百分比從 13.9% 下降到 0%。
新的檔案編輯命令將 SWE-Agent 檔案編輯功能的準確率從 72.9% 提高到 96.8%。
在 AIME2024 數據集上，結合 4o 和開源 Qwen2.5-72B-Instruct 的 INFANT AGENT 实现了與 o1-preview 相同的準確率，但 API 成本幾乎減半。
在 Codeforces 數據集上，雖然 INFANT AGENT 的準確率略低於 o1-preview，但 API 成本降低了近 90%。
在 GPQA Diamond 數據集上，Claude 3.5 Sonnet + Qwen2.5 72B 在 INFANT AGENT 的支持下達到了 71.7% 的準確率，超過了人類專家（69.7%）。
在沒有記憶檢索的情況下，GPT-4o 的成本為 7.81 美元，而啟用記憶檢索後，成本大幅下降至 2.03 美元。
對於 Claude 模型，在沒有記憶檢索的情況下，成本為 4.42 美元，而啟用記憶檢索後，成本降至最低 0.82 美元。
Infant Agent edit file() 方法的準確率達到 97%，而原始 SWE-Agent 方法的準確率為 73%。

引述

"LLMs themselves struggle with interaction with the physical world, which limits their capability to autonomously address certain engineering problems."
"LLMs often struggle with multi-step logical reasoning, which limits their ability to solve complex logic problems and hinders their capacity for innovation."
"By leveraging specialized agents, these approaches seek not only to automate routine and complex workflows but also to enhance the efficiency and scalability of task execution."

從以下內容提煉的關鍵洞見

Infant Agent: A Tool-Integrated, Logic-Driven Agent with Cost-Effective API Usage

by Bin Lei, Yuc... 於 arxiv.org 11-05-2024

https://arxiv.org/pdf/2411.01114.pdf

深入探究

INFANT AGENT 如何應對需要動態規劃或不確定性推理的更複雜的現實世界問題？

INFANT AGENT 目前主要透過預先定義好的指令集和少樣本學習來解決問題，這在面對需要動態規劃或不確定性推理的複雜場景時會遇到限制。以下是一些可能的改進方向：

整合強化學習 (Reinforcement Learning): 強化學習可以讓 INFANT AGENT 在與環境互動中學習，透過試錯和獎勵機制來優化決策過程。這對於處理動態規劃問題，例如資源分配或路徑規劃，特別有幫助。

引入概率推理 (Probabilistic Reasoning): 現實世界充滿不確定性，INFANT AGENT 可以整合概率模型，例如貝氏網路 (Bayesian Network) 或隱馬可夫模型 (Hidden Markov Model)，來處理不確定性推理。這能讓它在資訊不完整的情況下做出更合理的決策。

結合知識圖譜 (Knowledge Graph): 知識圖譜可以提供豐富的領域知識和關係推理能力，幫助 INFANT AGENT 更好地理解問題背景和約束條件。例如，在醫療診斷領域，知識圖譜可以提供疾病、症狀和治療方法之間的關聯，幫助 INFANT AGENT 做出更準確的判斷。

發展更強大的自然語言理解 (NLU) 能力: INFANT AGENT 需要更精確地理解用戶意圖和問題描述，才能在複雜場景中做出正確的決策。這需要持續提升其自然語言理解能力，例如使用預訓練語言模型 (Pre-trained Language Model) 或開發更精細的語義分析技術。

總之，INFANT AGENT 需要整合更多先進的人工智慧技術，才能應對更複雜的現實世界問題。

如果將 INFANT AGENT 的分層協作結構擴展到更多層級，是否會進一步提高其性能？

將 INFANT AGENT 的分層協作結構擴展到更多層級，理論上可以帶來一些潛在優勢，但也可能引入新的挑戰。
潛在優勢:

更精細的任務分解: 更多層級的結構允許將複雜任務分解成更小的子任務，每個子任務由專門的 Agent 負責，提高效率和準確性。
更專精的 Agent 訓練: 每個層級的 Agent 可以針對特定類型的子任務進行訓練，使用更精簡的數據集和模型，降低訓練成本和資源消耗。
更靈活的資源調度: 可以根據任務需求動態調整不同層級 Agent 的數量和類型，優化資源利用效率。

潛在挑戰:

更高的設計和管理複雜度: 更多層級的結構意味著更複雜的 Agent 間通訊和協調機制，增加設計和管理的難度。
潛在的資訊損失: 資訊在不同層級 Agent 間傳遞時可能出現損失或偏差，影響整體決策的準確性。
難以評估和調試: 多層級結構的系統更難以評估和調試，難以定位問題和優化性能。

結論:
是否擴展 INFANT AGENT 的分層協作結構需要權衡利弊，並進行充分的實驗驗證。可以先從較小的規模開始，逐步增加層級，並密切關注性能變化和潛在問題。

INFANT AGENT 的記憶檢索機制是否可以應用於其他需要處理大量資訊的 AI 系統，例如推薦系統或知識圖譜？

INFANT AGENT 的記憶檢索機制，特別是其對歷史資訊的儲存、分類和提取方式，確實可以應用於其他需要處理大量資訊的 AI 系統，例如推薦系統或知識圖譜。
應用於推薦系統:

用戶行為歷史記錄: 可以將用戶的瀏覽、點擊、購買等行為歷史記錄儲存在記憶模組中，並根據當前需求進行檢索，提供更個性化的推薦。
商品資訊關聯: 可以將商品的屬性、評價、銷售情況等資訊與用戶行為歷史記錄關聯起來，透過記憶檢索機制快速找到與用戶偏好相符的商品。
應用於知識圖譜:

實體和關係抽取: 可以將從文本數據中抽取的實體和關係資訊儲存在記憶模組中，並根據查詢需求進行檢索，快速回答用戶問題。
推理和路徑查詢: 可以利用記憶檢索機制加速知識圖譜上的推理和路徑查詢，例如找到兩個實體之間的最短路徑或共同關聯。
優勢:

提升效率: 記憶檢索機制可以快速定位相關資訊，避免每次都進行全量數據的搜索，提升系統效率。
個性化服務: 可以根據用戶的歷史行為和偏好，提供更精準的個性化服務。
支持複雜推理: 可以結合知識圖譜等技術，支持更複雜的推理和查詢。
挑戰:

記憶容量和更新: 需要設計合理的記憶容量和更新策略，避免記憶過載或資訊過時。
資訊表示和匹配: 需要設計有效的資訊表示和匹配方法，確保準確地檢索到相關資訊。
總之，INFANT AGENT 的記憶檢索機制具有廣泛的應用前景，可以為其他 AI 系統提供高效的資訊處理和知識管理能力。