Concepts de base
コンピューテーショナルノートブックにおけるエラーを解決するためにLLMベースのエージェントアプローチを提案する。
Résumé
本論文では、コンピューテーショナルノートブックにおけるエラー解決のためのLLMベースのエージェントアプローチについて提案している。
まず、10,000件のエラーを含むコンピューテーショナルノートブックのデータセットを収集・公開し、エラーの分布や特徴を分析した。その結果、NameError、TypeError、ValueError、AttributeErrorなどの一般的なエラーが多く見られ、そのほとんどが外部のライブラリやパッケージに起因するものであることが分かった。
次に、LLMベースのエージェントを用いてこれらのエラーを対話的に解決する手法を提案した。エージェントはノートブック内で一時的なセルを作成・実行し、エラーの文脈を拡張しながら解決策を見つけていく。この手法の実現に向けて、セキュリティ、評価指標、ツールセット、オープンソースLLMの活用、エージェント間の連携など、重要な研究課題を提示した。
本提案は、LLMとコンピューテーショナルノートブックの両分野の発展に貢献できると期待される。LLMにとっては、対話的な環境でのタスク遂行能力を検証する機会となり、ノートブックにとっては、再現性や品質の向上につながる可能性がある。
Stats
NameErrorは全エラーの25%を占める。
TypeErrorは全エラーの14%を占める。
ValueErrorは全エラーの10%を占める。
AttributeErrorは全エラーの10%を占める。
Citations
"コンピューテーショナルノートブックは、データ分析、機械学習、教育、科学的コンテンツの作成などに不可欠なツールとなっている。しかし、非線形な開発プロセスにより、再現性の低下や多くのバグが発生する問題がある。"
"LLMは一般的なコーディング環境でバグ修正能力を示しているが、ノートブック環境への適用はまだ十分に研究されていない。ノートブックのバグ修正問題を解決することは、LLMとノートブックの両分野の発展につながると考えられる。"