실제 물체와의 상호작용을 고려한 텍스트 기반 인간 동작 생성

Conceitos Básicos

텍스트 설명에 나타난 다양한 신체 부위와 물체 간의 상호작용을 고려하여 자연스럽고 물리적으로 타당한 3D 인간 동작을 생성한다.

Resumo

이 논문은 텍스트 설명에 나타난 다양한 신체 부위와 물체 간의 상호작용을 고려하여 자연스럽고 물리적으로 타당한 3D 인간 동작을 생성하는 문제를 다룹니다.

먼저, 기존 데이터셋의 한계를 극복하기 위해 RICH-CAT이라는 새로운 데이터셋을 구축했습니다. RICH-CAT은 고품질 동작 데이터, 정확한 인간-물체 접촉 레이블, 상호작용 정보를 포함한 텍스트 설명으로 구성되어 있습니다.

이를 바탕으로 CATMO라는 새로운 접근법을 제안했습니다. CATMO는 독립적인 VQ-VAE 모델을 사용하여 동작과 접촉 정보를 각각 잠재 공간으로 인코딩합니다. 그리고 텍스트 정보를 활용하여 동작과 접촉을 상호 조건부로 생성하는 intertwined GPT 모듈을 도입했습니다. 또한 상호작용 정보를 효과적으로 이해할 수 있는 텍스트 인코더를 사용하여 텍스트-동작 정렬을 향상시켰습니다.

실험 결과, CATMO는 기존 방법들에 비해 동작 생성 품질과 텍스트-동작 정렬 측면에서 우수한 성능을 보였습니다. 또한 정적 장면에서의 인간-물체 상호작용 생성에도 적용할 수 있음을 보였습니다.

Estatísticas

사람이 울타리에 기대어 있다.
사람이 울타리를 밀면서 몸을 기대고 있다.
사람이 울타리를 타고 올라가고 있다.

Citações

"주어진 텍스트 설명에 묘사된 다양한 신체 부위와 물체 간의 상호작용을 고려하여 시각적으로 자연스럽고 물리적으로 타당한 3D 인간 동작을 합성한다."
"RICH-CAT 데이터셋은 고품질 동작 데이터, 정확한 인간-물체 접촉 레이블, 상호작용 정보를 포함한 텍스트 설명으로 구성되어 있다."
"CATMO는 동작과 접촉 정보를 각각 잠재 공간으로 인코딩하고, 텍스트 정보를 활용하여 동작과 접촉을 상호 조건부로 생성한다."

Principais Insights Extraídos De

Contact-aware Human Motion Generation from Textual Descriptions

by Sihan Ma,Qio... às arxiv.org 03-26-2024

https://arxiv.org/pdf/2403.15709.pdf

Perguntas Mais Profundas

텍스트 설명에 나타나지 않은 신체 부위의 동작을 어떻게 자연스럽게 생성할 수 있을까?

텍스트 설명에 포함되지 않은 신체 부위의 동작을 자연스럽게 생성하기 위해서는 몇 가지 전략을 활용할 수 있습니다. 먼저, 상호작용하는 신체 부위들 간의 연관성을 고려하여 모델을 학습시킬 수 있습니다. 예를 들어, 한 동작이 다른 동작에 영향을 미치는 경우, 이러한 상호작용을 모델에 반영하여 자연스러운 동작을 생성할 수 있습니다. 또한, 다양한 동작 간의 연결고리를 고려하여 전체적인 동작 흐름을 유지하면서 새로운 신체 부위의 동작을 삽입할 수 있습니다. 이를 통해 텍스트 설명에 포함되지 않은 부분도 자연스럽게 보완할 수 있습니다.