テキストコントロールによる3Dシーンでの人間の相互作用モーションの生成

Centrala begrepp

テキストプロンプトに基づいて、3Dシーン内で人間が自然に移動し、物体と相互作用するモーションを生成する。

Sammanfattning

本研究では、TeSMoと呼ばれる手法を提案している。TeSMoは、テキストプロンプトに基づいて、3Dシーン内で人間が自然に移動し、物体と相互作用するモーションを生成する。

まず、大規模な動作キャプチャデータセットを使って、テキストから人間の動作を生成するベースとなる汎用的な拡散モデルを事前学習する。その後、3Dシーンの情報を入力として受け取る追加のブランチを微調整することで、シーンに適応した動作を生成できるようにする。

具体的には、ナビゲーション部分では、2Dフロアマップを入力として、障害物を回避しながら目標位置に到達する動作を生成する。その後、相互作用部分では、開始姿勢と目標位置、そして3D物体の形状を入力として、物体との自然な接触を伴う動作を生成する。

実験の結果、提案手法は既存手法と比べて、ナビゲーションの目標到達精度が高く、物体との接触が自然な相互作用動作を生成できることが示された。さらに、テキストプロンプトによる動作スタイルの制御も可能である。

Statistik

目標位置への到達誤差は16.9 cm、向きの誤差は0.119 rad、高さの誤差は0.008 mと高精度である。
生成された動作のコリジョン率は3.1%と低い。
生成された動作のフットスケーティング率は5.6%と低く、物理的に自然である。

Citat

"我々は、テキストコントロール可能な、シーン認識型の人間の相互作用モーション生成手法TeSMoを提案する。"
"TeSMoは、大規模な動作キャプチャデータを使って事前学習したベースモデルに、シーン情報を入力とする追加のブランチを微調整することで、シーンに適応した動作を生成できる。"

Viktiga insikter från

Generating Human Interaction Motions in Scenes with Text Control

by Hongwei Yi,J... på arxiv.org 04-17-2024

https://arxiv.org/pdf/2404.10685.pdf

Djupare frågor

シーン認識型の人間の相互作用モーション生成の応用例はどのようなものが考えられるか

シーン認識型の人間の相互作用モーション生成の応用例はどのようなものが考えられるか。
シーン認識型の人間の相互作用モーション生成の手法は、ゲーム開発や仮想環境の構築などさまざまな応用が考えられます。例えば、ゲーム内のキャラクターがリアルな動きで障害物を避けながら目的地に到達するシーンや、仮想空間内での人間とオブジェクトの自然なインタラクションを生成することができます。また、AIによる身体表現やアニメーションの自動生成など、人間の動きをリアルかつ多様にシーンに適応させることが可能です。

既存の手法との比較では、どのような長所短所があるのか、さらなる改善の余地はないか

既存の手法との比較では、どのような長所短所があるのか、さらなる改善の余地はないか。
長所:

本手法はテキスト入力によるスタイルの制御が可能であり、シーン認識を組み込むことでリアルかつ多様な人間-オブジェクトの相互作用を生成できる。
ナビゲーションモデルは目標到達精度が高く、衝突率が低い。
インタラクションモデルはオブジェクトとのペネトレーションが少なく、ユーザースタディで高い評価を受けている。
短所:

ナビゲーションモデルとインタラクションモデルの2段階プロセスにより、生成されたペルビス軌道とフルボディポーズの間に違いが生じることがある。
2Dフロアマップによる制約が複雑なインタラクションを扱う際に制限となる場合がある。
改善の余地:

ナビゲーションモデルの1段階生成アプローチの検討。ペルビス軌道とポーズを同時に生成するモデルを開発することで、プロセスを効率化できる。
より複雑なインタラクションを扱うための新しいモデルの探求。例えば、小さなスツールをまたぐなどの動作を可能にするための手法の開発。

本手法で扱っていない動作(例えば寝る、触れるなど)をどのように拡張できるか

本手法で扱っていない動作(例えば寝る、触れるなど)をどのように拡張できるか。
本手法で扱っていない動作を拡張するためには、新しいデータセットを用意し、その動作に関連する適切なテキスト説明とシーン情報を組み込むことが重要です。また、新しいモデルやアルゴリズムを開発して、寝る、触れるなどの動作を生成できるようにする必要があります。さらに、動作の多様性とリアリティを向上させるために、データ拡張や新しい学習手法を導入することが有効です。新しい動作を取り入れる際には、テキストコントロールやシーン認識の観点からも適切な拡張が必要となります。