Core Concepts
大規模な操作履歴からユーザーの意味のある操作タスクを自動的に抽出し、自然言語で記述し、実行可能なマクロを生成する。
Abstract
本研究は、スマートフォンアプリの操作履歴から、ユーザーの意味のある操作タスクを自動的に抽出する手法を提案している。具体的には以下の3つの主な貢献がある:
大規模な操作履歴データからユーザータスクを発見し、自然言語で記述し、実行可能なマクロを生成するための、LLMを活用したアプローチを提案した。
RICOデータセットから23,777個のマクロを抽出し、公開する新しいデータセットを提供した。これにより、モバイルインタラクションの分析やモデル化の研究に活用できる。
抽出したマクロについて、ユーザー評価、既存データセットとの比較分析、実環境での自動実行などの評価を行い、提案手法の有効性を示した。これにより、マクロの実用性が高いことが確認できた。
Stats
操作履歴1つあたり平均3.41個のアクションが含まれている
RICOデータセットから23,777個のマクロを抽出した
Rehearsalデータセットから1アプリあたり平均338.9個のマクロを抽出した
Quotes
"一部のクリックは非効率的に見え、UIがなぜ特定の領域をクリックするのか不明確だった"
"これらのタスクの半数以上は事前に知らなかった"