VideoWebArena：長文脈マルチモーダルエージェントのビデオ理解ウェブタスクを用いた評価

核心概念

VideoWebArenaは、長文脈ビデオを理解し、その情報を活用して複雑なウェブタスクを遂行するマルチモーダルエージェントの能力を評価するためのベンチマークである。

要約

VideoWebArenaの概要

本稿では、長文脈マルチモーダルエージェントのビデオ理解能力を評価するための新しいベンチマークであるVideoWebArena（VideoWA）を紹介する。VideoWAは、現実世界のタスクを反映した、視覚的に接地されたベンチマークであり、エージェントが現実的なドメインや環境において、ビデオ理解に関するエージェント能力をテストすることを目的としている。

手動で作成されたビデオチュートリアルに基づく2,021件のウェブエージェントタスクで構成されている。
ビデオの合計再生時間は約4時間で、Reddit、Classifieds、Shopping、Shopping Admin、Map、Gitlabの6つの主要なテーマ環境が含まれている。
スキル保持と事実保持という2つの主要な領域に焦点を当てた、長文脈ビデオベースのエージェントタスクの分類を定義している。

スキル保持タスク：エージェントが、与えられた人間のデモンストレーションを使用してタスクを効率的に完了できるかどうかを評価する。
事実保持タスク：エージェントが、ビデオからタスクの完了に必要な情報を取得できるかどうかを評価する。

各タスクは、タスクの目的である「意図」、ビデオベースの質問である「中間意図」、および環境とLLMエージェントによって与えられた応答に基づいて0または1のスコアを返す自動評価関数を持っている。
各タスクには、容易、中程度、困難に分けられるエージェント難易度も設定されている。

VideoWAを用いて、GPT-4oとGemini 1.5 Proという、ビデオに対応した最先端のLLMを評価した結果、これらのモデルは限定的な範囲ではビデオ対応エージェントとして機能するものの、人間のレベルのパフォーマンスには程遠く、現在の最先端の長文脈モデルの情報検索能力とエージェント能力には大きな隔たりがあることが明らかになった。

抽出されたキーインサイト

VideoWebArena: Evaluating Long Context Multimodal Agents with Video Understanding Web Tasks

by Lawrence Jan... 場所 arxiv.org 10-28-2024

https://arxiv.org/pdf/2410.19100.pdf

深掘り質問

VideoWebArenaで評価されたLLMエージェントの具体的な失敗モードは何ですか？どのような改善策が考えられますか？

VideoWebArenaで評価されたLLMエージェントの具体的な失敗モードは以下の点が挙げられます。

幻覚: エージェントが、文脈やタスクとは無関係な、意味不明な行動をとること。これは、エージェントタスクにおけるインストラクションチューニングやモデルアラインメントの不足に起因すると考えられます。
ビジュアルグラウンディングの失敗: エージェントは正しい行動計画を認識していても、Set-of-Marks画像入力に対して間違った要素を選択し、誤った行動をとってしまうこと。
行動のグラウンディングとプランニングの失敗: エージェントが、失敗につながる誤った計画や行動を生成し、環境からのネガティブフィードバックを受けてもその計画を変更できないこと。これは、推論時検索やメモリベースの手法を用いることで改善できる可能性があります。また、自己反省を推論中に組み込むことで、行動のグラウンディングとプランニングの失敗から回復できる可能性があります。
同じ行動の繰り返し: 特定の行動が失敗に繋がると判断できず、同じ行動を繰り返し、タスクが終了してしまうこと。
これらの失敗モードに対する改善策としては、以下のようなものが考えられます。

データセットの改善: より複雑で多様なタスクを含むデータセットを作成することで、LLMエージェントの汎化能力を高める。
強化学習: 環境との相互作用を通じて学習する強化学習を用いることで、エージェントはより効果的な行動戦略を学習できる。
モジュール化: エージェントを、視覚処理、言語理解、行動計画などのモジュールに分割することで、各モジュールの性能を向上させる。
外部ツールの活用: 計算機や検索エンジンなどの外部ツールをエージェントが利用できるようにすることで、より複雑なタスクを解決できるようにする。
人間との協調: 人間がエージェントの行動を監視し、必要に応じて介入できるようにすることで、エージェントの信頼性と安全性を向上させる。

ビデオ以外のモダリティ（音声、センサーデータなど）を統合することで、VideoWebArenaのタスクはどのように拡張できますか？

VideoWebArenaのタスクは、ビデオ以外のモダリティ（音声、センサーデータなど）を統合することで、より現実世界に近い複雑なタスクに拡張できます。

音声認識: ビデオ内の音声情報を認識することで、例えば、動画内の指示に従ってタスクを実行する、動画内の特定の人物の発言内容に基づいて情報を検索する、といったタスクが考えられます。
センサーデータ: GPS、加速度センサー、温度センサーなどのセンサーデータを統合することで、例えば、地図アプリ上で目的地までの経路を案内する、レシピ動画を見ながら料理をする際に必要な材料の量を調整する、といったタスクが考えられます。
マルチモーダル対話: ユーザーとエージェントが、テキスト、音声、画像などを用いて対話しながらタスクを進めることができるようにすることで、より自然で柔軟なインタラクションが可能になります。
これらのモダリティを統合することで、VideoWebArenaは、より高度なエージェントの開発と評価のためのプラットフォームとなりえます。

VideoWebArenaの評価指標は、現実世界のタスクにおけるエージェントの有用性をどの程度反映していますか？より現実的な評価指標をどのように設計できますか？

VideoWebArenaの評価指標は、タスクの成功率やステップ数など、エージェントの基本的な能力を評価するには有効ですが、現実世界のタスクにおけるエージェントの有用性を完全に反映しているとは言えません。
より現実的な評価指標を設計するためには、以下のような点を考慮する必要があります。

タスクの複雑さ: 現実世界のタスクは、VideoWebArenaのタスクよりもはるかに複雑で多岐にわたるため、より複雑なタスクを評価指標に組み込む必要があります。
環境の不確実性: 現実世界では、環境は常に変化し、不確実な情報が多いです。エージェントが、このような不確実な環境下でも堅牢に動作できるかどうかを評価する必要があります。
ユーザーの主観: エージェントの有用性は、最終的にはユーザーの主観によって決まります。ユーザーの満足度や、タスクの効率性などを評価指標に組み込む必要があります。
具体的には、以下のような評価指標が考えられます。

タスク達成までの時間: 単純なステップ数ではなく、実際にタスクを達成するまでにかかった時間を計測することで、より現実的な評価が可能になります。
ユーザーへの質問数: エージェントがタスクを遂行する上で、ユーザーに質問しなければならない回数を計測することで、エージェントの自律性を評価できます。
ユーザーによる評価: タスク完了後、ユーザーにエージェントの使い勝手や満足度を評価してもらうことで、より直接的なフィードバックを得られます。
これらの評価指標を組み合わせることで、現実世界のタスクにおけるエージェントの有用性をより正確に評価できるようになると考えられます。