מושגי ליבה
AnySkill은 저수준 제어기와 고수준 정책을 결합하여 오픈 어휘 물리적 상호작용 기술을 학습할 수 있는 새로운 계층적 방법론을 제안합니다. 이를 통해 에이전트가 다양한 텍스트 지시에 따라 자연스럽고 물리적으로 현실적인 동작을 생성할 수 있습니다.
תקציר
AnySkill은 두 가지 핵심 구성 요소로 이루어집니다:
- 저수준 제어기:
- 무레이블 동작 데이터를 활용하여 물리적으로 현실적인 원자 동작들을 학습합니다.
- 생성적 적대적 모방 학습(GAIL)을 통해 동작의 자연스러움과 물리적 타당성을 보장합니다.
- 고수준 정책:
- 각 오픈 어휘 텍스트 지시에 대해 개별적으로 학습됩니다.
- 저수준 제어기에서 학습된 원자 동작들을 선택하고 통합하여, CLIP 유사도를 최대화하도록 최적화합니다.
- 이를 통해 에이전트가 텍스트 지시에 부합하는 자연스럽고 물리적으로 현실적인 동작을 생성할 수 있습니다.
AnySkill의 핵심 특징은 CLIP 유사도를 활용한 유연하고 일반화 가능한 이미지 기반 보상 메커니즘입니다. 이를 통해 수동으로 설계된 보상 함수 없이도 다양한 물체와의 상호작용을 학습할 수 있습니다.
실험 결과, AnySkill은 기존 오픈 어휘 동작 생성 방법론을 크게 능가하며, 특히 물체와의 자연스러운 상호작용 동작 생성에서 두드러진 성능을 보입니다.
סטטיסטיקה
에이전트의 현재 루트 위치, 방향, 관절 위치 및 속도로 구성된 상태 s를 입력으로 받습니다.
다음 목표 관절 회전을 나타내는 동작 a를 출력합니다.
ציטוטים
"AnySkill은 저수준 제어기와 고수준 정책을 결합하여 오픈 어휘 물리적 상호작용 기술을 학습할 수 있는 새로운 계층적 방법론을 제안합니다."
"AnySkill의 핵심 특징은 CLIP 유사도를 활용한 유연하고 일반화 가능한 이미지 기반 보상 메커니즘입니다."