Core Concepts
LEGENT은 대화형 에이전트를 개발하기 위한 오픈 소스 플랫폼으로, 대화형 3D 환경과 대규모 데이터 생성 파이프라인을 제공하여 대화형 에이전트의 통합과 확장을 지원합니다.
Abstract
LEGENT은 대화형 에이전트 개발을 위한 오픈 소스 플랫폼입니다. 이 플랫폼은 두 가지 주요 부분으로 구성됩니다:
-
대화형 3D 환경:
- 다양하고 현실적이며 상호작용이 가능한 3D 장면 제공
- 시각적 관찰, 언어 상호작용, 일반화 가능한 행동을 수행할 수 있는 인간 같은 에이전트
- 사용자 친화적인 인터페이스로 3D 환경에 익숙하지 않은 연구자도 쉽게 사용 가능
-
대규모 데이터 생성 파이프라인:
- 절차적 생성과 언어 기반 생성을 통해 다양한 장면 생성
- 언어 모델과 제어기를 활용하여 에이전트의 최적 행동 궤적 생성
- 대규모 에이전트 행동 데이터 생성으로 대화형 에이전트 학습 지원
LEGENT은 이러한 기능을 통해 대화형 에이전트 개발을 위한 오픈 플랫폼을 제공하며, 실험 결과 LEGENT 데이터로 학습한 모델이 기존 모델보다 우수한 성능을 보였습니다.
Stats
에이전트가 "여기로 와"라는 명령을 수행하기 위해 1개 방에서는 96%, 2개 방에서는 70%의 성공률을 보였습니다.
에이전트가 "오렌지는 어디에 있나요?"라는 질문에 1개 방에서는 94%, 2개 방에서는 52%의 정확도로 답변했습니다.
Quotes
"LEGENT은 대화형 에이전트 개발을 위한 오픈 소스 플랫폼으로, 대화형 3D 환경과 대규모 데이터 생성 파이프라인을 제공하여 대화형 에이전트의 통합과 확장을 지원합니다."
"LEGENT 데이터로 학습한 모델은 기존 모델보다 우수한 성능을 보였습니다."