グラフィカルユーザーインターフェイスデータを活用した自動化の実現

GUIDE (Graphical User Interface Data for Execution) データセットは、ロボティックプロセスオートメーション (RPA) の高度化を目的として開発された。このデータセットは、様々なウェブサイトからの画像、タスク説明、アクション履歴、推論過程、次のアクションなどの情報を網羅的に収集・注釈したものである。これにより、LLMがGUIを理解し、タスクを自動化する能力を向上させることが期待される。