Khái niệm cốt lõi
AnySkill은 저수준 제어기와 고수준 정책을 결합하여 오픈 어휘 텍스트 설명에 맞는 자연스럽고 물리적으로 현실적인 동작을 생성할 수 있습니다.
Tóm tắt
AnySkill은 두 가지 핵심 구성 요소로 이루어져 있습니다:
저수준 제어기:
- 무레이블 동작 클립을 사용하여 원자 동작의 잠재 표현을 학습합니다.
- 생성 적대적 모방 학습(GAIL)을 통해 물리적으로 현실적인 동작을 생성합니다.
고수준 정책:
- 오픈 어휘 텍스트 설명에 맞는 동작을 생성하기 위해 저수준 동작을 선택하고 통합합니다.
- CLIP 유사도를 이미지 기반 보상으로 사용하여 물체와의 상호작용을 학습할 수 있습니다.
이를 통해 AnySkill은 다양한 텍스트 설명에 맞는 자연스럽고 물리적으로 현실적인 동작을 생성할 수 있습니다. 또한 동적 객체와의 상호작용 동작도 효과적으로 학습할 수 있습니다.
Thống kê
사람은 축구공을 차는 등 관찰만으로도 새로운 물리적 상호작용 기술을 학습할 수 있다.
기존 물리 기반 동작 생성 방법은 새로운 시나리오에 적응하는 데 어려움이 있다.
오픈 어휘 동작 생성 모델은 자연스럽고 물리적으로 현실적인 동작을 생성하는 데 어려움이 있다.
Trích dẫn
"AnySkill은 저수준 제어기와 고수준 정책을 결합하여 오픈 어휘 텍스트 설명에 맞는 자연스럽고 물리적으로 현실적인 동작을 생성할 수 있습니다."
"AnySkill은 CLIP 유사도를 이미지 기반 보상으로 사용하여 물체와의 상호작용을 학습할 수 있습니다."