AGENTFL: Scaling LLM-based Fault Localization to Project-Level Context

Core Concepts

AGENTFL is a multi-agent system based on ChatGPT for automated fault localization, addressing the limitations of existing LLM-based techniques in handling large codebases.

Abstract

Fault Localization (FL) is crucial in software debugging, with developers spending significant time on this phase.
Large Language Models (LLMs) show promise in bug diagnosis but struggle with long contexts.
AGENTFL decomposes fault localization into comprehension, navigation, and confirmation stages using multiple agents.
Evaluation on Defects4J-V1.2.0 shows AGENTFL outperforms other LLM-based approaches in localizing bugs within Top-1.
Components like Test Behavior Tracking and Document-Guided Search enhance AGENTFL's performance.
Ablation study highlights the importance of tasks like Test Failure Analysis and Method Doc Enhancement.

Stats

AGENTFLは395のバグのうち、Top-1で157をローカライズできます。
AGENTFLはDefects4J-V1.2.0で他のLLMベースのアプローチを上回ります。
AGENTFLはClosureプロジェクトで他のアプローチよりも効果が低いことがわかりました。

Quotes

Key Insights Distilled From

AgentFL

by Yihao Qin,Sh... at arxiv.org 03-26-2024

https://arxiv.org/pdf/2403.16362.pdf

Deeper Inquiries

どのようにしてAGENTFLは大規模なコードベースでバグを特定する能力を向上させていますか？

AGENTFLは、プロジェクト全体でのバグ特定を可能にするためにいくつかの戦略と手法を組み合わせています。まず、複数のLLM駆動エージェントを導入し、各エージェントが特定のタスクに対応するようカスタマイズされています。これにより、各エージェントがそれぞれ異なる作業や情報処理方法を使用して特定の課題に取り組むことが可能です。
また、AGENTFLではバグ特定プロセスを3つの段階（Fault Comprehension, Codebase Navigation, Fault Confirmation）に分割しました。このアプローチは開発者のデバッグ行動パターンを模倣し、LLMへ提供される情報量やコンテキスト管理が効果的であることが期待されます。
さらに、Test Behavior TrackingやDocument-Guided Searchなどの補助戦略も採用しており、これらは長いコンテキストでも重要な情報だけに焦点を当てるための方法です。これらすべてが組み合わさってAGENTFLは大規模なコードベースで効果的なバグ特定能力を実現しています。

既存のLLMベース手法と比較して、AGENTFL の利点と欠点は何ですか？

利点:

プロジェクトレベル対応: AGENTFLは従来のLLMベース手法では難しかったプロジェクト全体でのバグ特定機能を提供します。
多段階アプローチ: バグ特定過程を複数段階（Fault Comprehension, Codebase Navigation, Fault Confirmation）に分解することで制御可能性が高まります。
専門知識搭載エージェント: 複数種類のLLM駆動エージェント（Test Code Reviewer, Source Code Reviewer等）が専門知識や外部機能強化されており，それぞれ独自任務処理能力持ちます。
補助戦略採用: Test Behavior Tracking や Document-Guided Search 等追加戦術も活用し，長文書内でも重要情報把握容易化

欠点:

ランキング問題: LLMs のランキング課題克服困難
Closure プロジェクト例外性： Closure プロジェクト内一部不具合原因同質性及びカバレッド・メソッド多量度からAGENFTL 効率低下傾向
Top-N指標限界： Top-N指標単純評価方式限界あり

ソフトウェア開発において、自動化されたバグ特定システムがどれだけ重要だと考えますか？

自動化されたバグ特定システムは非常に重要です。以下はその理由です：

時間節約: 開発者は手作業で全ての不具合箇所見つけ出す必要無く，自動システム利用時時間節約可
生産性向上: 自動化システム使用時，開発者リソース他項目集中可能．新機能迅速リリース促進
精度向上: 時間圧縮及び人為感情影響排除後，正確率増加予想．品質改善有望
再現性確保 : 手作業操作時人間主観感じ方差存在．自働操作使えば再現性担保可

以上から，ソフトウェア開発ライフサイクル中不可欠技術之一是非常明確示唆します。