텍스트 기반 고품질 인간 동작 생성 및 편집을 위한 생성적 마스크 동작 모델

핵심 개념

마스크 동작 모델은 텍스트 설명에 정확하게 부합하는 고품질 동작을 실시간으로 생성할 수 있으며, 동작 편집 기능도 제공한다.

초록

이 논문은 텍스트 기반 인간 동작 생성을 위한 새로운 패러다임인 마스크 동작 모델(MMM)을 소개한다. MMM은 두 가지 핵심 구성 요소로 이루어져 있다:

1. 동작 토크나이저: 3D 인간 동작을 이산적인 토큰 시퀀스로 변환하여 세부적인 동작 정보를 보존한다.
2. 조건부 마스크 동작 트랜스포머: 텍스트 토큰과 동작 토큰을 양방향으로 참조하여 마스크된 동작 토큰을 예측한다.

이를 통해 MMM은 텍스트 설명에 정확하게 부합하는 고품질 동작을 실시간으로 생성할 수 있다. 또한 마스크 토큰을 활용하여 동작 편집(동작 보간, 상체 편집, 긴 동작 생성)이 가능하다.

실험 결과, MMM은 기존 최신 방법들에 비해 동작 생성 품질과 속도 면에서 모두 우수한 성능을 보였다. 특히 기존 확산 모델 및 자기회귀 모델 대비 최대 2배 빠른 생성 속도를 달성했다.

통계

동작 생성 속도 비교:

MDM: 28.112초
MotionDiffuse: 10.071초
MLD: 0.220초
T2M-GPT: 0.350초
AttT2M: 0.528초
MMM: 0.081초

인용구

없음

핵심 통찰 요약

MMM

by Ekkasit Piny... 게시일 arxiv.org 03-29-2024

https://arxiv.org/pdf/2312.03596.pdf

더 깊은 질문

MMM의 마스크 토큰 활용 방식을 확장하여 더 다양한 동작 편집 기능을 제공할 수 있을까

MMM의 마스크 토큰을 활용하여 더 다양한 동작 편집 기능을 제공할 수 있습니다. 예를 들어, MMM을 통해 특정 동작의 일부를 제거하거나 대체하여 새로운 동작을 생성할 수 있습니다. 또한, 마스크 토큰을 활용하여 동작 간의 자연스러운 전환을 보장하고, 다양한 동작 편집 작업을 수행할 수 있습니다. 이를 통해 사용자는 원하는 동작을 보다 정확하게 제어하고 수정할 수 있게 됩니다.

MMM의 동작 토크나이저와 트랜스포머 모듈을 개선하여 동작 생성 품질을 더 향상시킬 수 있는 방법은 무엇일까

MMM의 동작 토크나이저와 트랜스포머 모듈을 개선하여 동작 생성 품질을 더 향상시키기 위해 몇 가지 방법이 있습니다.

더 큰 코드북 크기 및 차원: 코드북 크기를 더욱 확장하고 코드 차원을 조정하여 더 많은 동작 특성을 보존할 수 있습니다.
텍스트 및 동작 토큰 간 상호작용 강화: 텍스트 및 동작 토큰 간의 상호작용을 더욱 강화하여 더 정확한 동작 생성을 가능하게 합니다.
마스크 스케줄링 최적화: 마스크 스케줄링을 최적화하여 더 빠르고 효율적인 동작 생성을 도모할 수 있습니다.
동작 편집 기능 강화: 동작 편집 기능을 더 다양하게 확장하여 사용자가 원하는 동작을 보다 유연하게 편집할 수 있도록 합니다.

MMM의 기술을 활용하여 인간-로봇 상호작용 등 다른 응용 분야에 적용할 수 있는 방법은 무엇일까

MMM의 기술을 활용하여 인간-로봇 상호작용 등 다른 응용 분야에 적용할 수 있는 몇 가지 방법이 있습니다.

로봇 제어 및 동작 생성: MMM을 통해 로봇의 동작을 생성하고 제어하는 데 활용할 수 있습니다. 이를 통해 로봇의 동작을 자연스럽게 조정하고 다양한 작업을 수행할 수 있습니다.
가상 현실 및 증강 현실: MMM을 사용하여 가상 현실 및 증강 현실 환경에서 인간 동작을 생성하고 조작할 수 있습니다. 이를 통해 더 현실적이고 자연스러운 상호작용을 구현할 수 있습니다.
예술 및 엔터테인먼트: MMM을 예술 및 엔터테인먼트 분야에 적용하여 다양한 창작물을 만들 수 있습니다. 예를 들어, 영화나 애니메이션 제작에서 인간 동작을 생성하는 데 활용할 수 있습니다.