Core Concepts
본 연구는 대규모 모바일 앱 상호작용 추적 데이터로부터 의미 있는 재실행 가능한 매크로를 자동으로 추출하는 새로운 접근법을 제안한다.
Abstract
이 연구는 모바일 앱 상호작용을 추상화하는 새로운 단위인 '매크로'를 정의하고, 대규모 상호작용 추적 데이터로부터 이러한 매크로를 자동으로 추출하는 방법을 제안한다.
주요 내용은 다음과 같다:
대규모 상호작용 추적 데이터에서 의미 있는 매크로를 추출하기 위해 대형 언어 모델(LLM)을 활용하는 새로운 접근법을 제안한다. LLM을 통해 각 UI 화면에서 사용자 태스크를 발견하고, 관련 액션을 추론하며, 필요한 추가 정보를 찾아낸다.
추출된 매크로를 최적화하기 위해 상호작용 그래프를 구축하고 최단 경로를 찾는다.
추출된 매크로의 품질을 사용자 평가, 기존 데이터셋과의 비교, 실제 실행 테스트 등 다양한 방식으로 검증한다.
추출된 23,777개의 매크로 데이터셋을 공개하여 향후 연구에 활용될 수 있도록 한다.
이 연구는 모바일 앱 상호작용 이해와 자동화를 위한 새로운 접근법을 제시하며, 대규모 매크로 데이터셋을 제공함으로써 관련 분야에 기여할 것으로 기대된다.
Stats
사용자 평가 결과, 추출된 매크로의 설명과 실제 수행 과정의 일치도는 평균 3.85점(5점 만점)이었다.
추출된 매크로의 합리성은 평균 4.11점(5점 만점)으로 평가되었다.
참여자의 48.2%가 해당 매크로 수행 방법을 사전에 알지 못했다고 응답했다.
실제 실행 테스트에서 추출된 매크로의 76.7%가 성공적으로 실행되었다.
Quotes
"일부 클릭 동작이 비효율적이거나 왜 특정 영역을 클릭하는지 확실하지 않았다." (P1)