Core Concepts
HELPER-X는 대화, 자연어 지침 따르기, 질문하기, 공간 상식 추론을 통한 과제 수행을 위한 단일 에이전트로, 도메인 간 메모리 확장을 통해 우수한 성능을 달성합니다.
Abstract
HELPER-X는 대화 기반 과제 완수, 자연어 지침 따르기, 지침 수행 중 질문하기, 공간 상식을 활용한 방 정리 등 4가지 도메인에서 우수한 성능을 보입니다. 이를 위해 HELPER-X는 두 가지 방식으로 메모리를 확장했습니다:
HELPER-XP: 도메인별 맞춤형 프롬프트 템플릿과 관련 예제를 메모리에서 검색하여 사용합니다.
HELPER-XS: 도메인 간 공유 메모리에서 관련 예제를 검색하여 도메인 독립적인 프롬프트 템플릿과 함께 사용합니다.
HELPER-X는 각 도메인에서 최소한의 도메인 특화 데이터만으로도 최신 수준의 성능을 달성하며, 단일 에이전트로 다양한 과제를 수행할 수 있습니다. 이는 메모리 확장을 통해 도메인 간 지식 전이가 가능해졌기 때문입니다.
Stats
HELPER-XP는 ALFRED 검증 세트에서 HELPER 대비 1.0% 더 높은 성공률을 달성했습니다.
HELPER-XS는 DialFRED 검증 세트에서 HELPER 대비 0.38점 더 높은 성공률을 보였습니다.
HELPER-X는 Tidy Task 테스트 세트에서 TIDEE 대비 더 적은 단계로 과제를 수행했습니다.
Quotes
"HELPER-X는 단일 에이전트로 4개 도메인에서 최신 수준의 성능을 달성합니다."
"메모리 확장을 통해 HELPER-X는 도메인 간 지식 전이가 가능해졌습니다."