Основні поняття
UniMotionは、柔軟な動作制御と細かい動作理解の両方を可能にする、初めての統一的な多タスクの人間動作モデルである。
Анотація
UniMotionは、グローバルなテキスト入力、ローカルなフレームレベルのテキスト入力、または動作シーケンスなど、さまざまな条件入力に対応できる柔軟な多モーダルモデルである。これにより、従来の研究では個別に扱われていた、フレームレベルのテキストから動作への変換、シーケンスレベルのテキストから動作への変換、動作からテキストへの変換などのタスクを、単一のモデルで統一的に扱うことができる。さらに、UniMotionは、動作とフレームレベルのテキストの同時生成など、これまで検討されていなかった新しいタスクにも対応できる。
UniMotionの主な特徴は以下の通り:
動作合成と理解を統一的に扱う初めてのモデル
グローバルなテキスト入力とローカルなフレームレベルのテキスト入力を組み合わせた階層的な制御が可能
生成された動作に対応するフレームレベルのテキスト記述を出力できる
動作キャプチャデータやYouTubeの動画に対してフレームレベルのテキスト注釈を自動生成できる
テキストによる動作編集が可能
UniMotionは、HumanML3Dデータセットのフレームレベルのテキストから動作への変換タスクにおいて、最先端の性能を達成している。
Статистика
人が前に歩いて、何かを拾い上げ、そして戻って歩いていく
人が回転しながら前に歩いていく
人が前に飛び跳ねる
Цитати
"この人は前に歩いて、何かを拾い上げ、そして戻って歩いていく"
"人が回転しながら前に歩いていく"
"人が前に飛び跳ねる"