評估代理在從研究儲存庫設置和執行任務的能力

核心概念

大型語言模型在編寫代碼方面取得了重大進展,現在是否可以用於自主複製研究儲存庫中的結果?這種能力將是研究界的一大福音,有助於研究人員驗證、理解和擴展先前的工作。為了朝著這個目標前進,我們引入了SUPER,這是第一個專門設計用於評估大型語言模型在設置和執行研究儲存庫任務能力的基準。

要約

SUPER基準包含三個不同的問題集:

1. 45個具有註釋專家解決方案的端到端問題(Expert set)。
2. 從專家集中提取的152個子問題(Masked set),專注於特定挑戰(如配置訓練器、解決運行時異常、正確執行腳本等)。
3. 604個自動生成的問題(Auto set),涵蓋更廣泛的儲存庫和挑戰。

我們引入了各種評估指標,利用可用的金標準解決方案或近似值來評估任務成功和進度。我們發現頂尖的方法難以解決這些問題,最好的模型(GPT-4o)只能解決16.3%的端到端集和46.1%的情景。這說明了這項任務的挑戰性,並表明SUPER可以成為社區取得進步和衡量進度的有價值資源。

統計

最好的模型(GPT-4o)只能解決16.3%的端到端集和46.1%的情景。
開源模型在子問題和端到端任務上都遠遠落後。

引用

"大型語言模型在編寫代碼方面取得了重大進展,現在是否可以用於自主複製研究儲存庫中的結果?"
"這種能力將是研究界的一大福音,有助於研究人員驗證、理解和擴展先前的工作。"

抽出されたキーインサイト

SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories

by Ben Bogin, K... 場所 arxiv.org 09-12-2024

https://arxiv.org/pdf/2409.07440.pdf

深掘り質問

如何設計代理,使其能夠更好地分析儲存庫並考慮多種解決方案?

為了設計一個能夠更好地分析儲存庫並考慮多種解決方案的代理，我們可以採取以下幾個策略：

增強的代碼理解能力：代理應具備更強的代碼理解能力，這可以通過訓練模型來實現，讓其能夠解析和理解儲存庫中的代碼結構、函數調用和變數定義。這樣，代理在面對特定問題時，能夠更好地識別相關的代碼片段。

多樣化的解決方案生成：代理可以使用生成對抗網絡（GAN）或其他生成模型來提出多種解決方案。這些解決方案可以基於不同的假設或參數設置，從而提供多樣化的選擇，讓用戶能夠選擇最合適的方案。

上下文感知的決策過程：代理應該能夠根據儲存庫的上下文信息來調整其行為。例如，根據儲存庫的文檔、註釋和歷史提交記錄，代理可以更好地理解用戶的需求和儲存庫的特性，從而提出更具針對性的解決方案。

反思機制：引入反思機制，讓代理在遇到失敗時能夠分析失敗的原因，並根據這些分析調整其策略。這樣的機制可以幫助代理在未來的任務中避免重複相同的錯誤。

模擬人類專家的行為：通過模擬人類專家的行為，代理可以學習如何在面對不確定性時進行決策。這可以通過收集專家在解決問題時的思考過程和決策邏輯來實現。

如何擴展SUPER基準,以涵蓋更多程式語言和領域?

擴展SUPER基準以涵蓋更多程式語言和領域可以通過以下幾個步驟來實現：

多語言支持：首先，應該建立一個多語言的支持框架，這可以通過收集不同程式語言的開源儲存庫來實現。每種程式語言的特性和語法都應該被考慮，以便設計相應的任務和評估標準。

跨領域的問題設計：除了機器學習和自然語言處理，SUPER基準可以擴展到其他領域，如網頁開發、數據科學和嵌入式系統等。這需要與各領域的專家合作，設計出符合該領域特點的實驗和任務。

自動化任務生成：利用大型語言模型（LLMs）自動生成不同程式語言和領域的任務。這樣可以快速擴展基準的範圍，並確保生成的任務具有多樣性和挑戰性。

社群參與：鼓勵開發者和研究者參與到基準的擴展中來，通過開放的貢獻平台，讓他們能夠提交新的任務和解決方案，從而不斷豐富基準的內容。

持續更新和維護：隨著技術的發展，新的程式語言和工具不斷出現，基準需要定期更新，以保持其相關性和挑戰性。這可以通過定期的回顧和更新會議來實現。

如何確保SUPER基準的評估不會過度依賴外部資源的可用性?

為了確保SUPER基準的評估不會過度依賴外部資源的可用性，可以採取以下幾個措施：

建立封閉的測試環境：設計一個封閉的測試環境，所有需要的資源（如數據集、依賴包等）都應該在這個環境中預先配置好，這樣可以避免因外部資源不可用而導致的測試失敗。

使用模擬數據：在某些情況下，可以使用模擬數據來替代真實數據集。這樣可以確保代理在沒有外部資源的情況下仍然能夠進行測試和評估。

設計容錯機制：在評估過程中，設計容錯機制以應對外部資源的不可用性。例如，當某個依賴包無法安裝時，代理可以自動回退到先前的版本或使用替代方案。

明確的資源需求：在設計任務時，應明確列出所需的所有外部資源，並確保這些資源在測試前已經可用。這樣可以減少因資源問題導致的評估不準確。

定期檢查和更新資源：定期檢查所依賴的外部資源的可用性，並在必要時進行更新或替換，確保基準的穩定性和可靠性。