双人相互作用下的基于扩散的人体运动生成

Core Concepts

本文提出了一种基于扩散的方法InterGen,能够通过文本指引生成高质量和多样化的双人互动运动。我们设计了一种新的运动表示方式,并引入了两个协作的变换器式去噪网络,以及一些新的正则化损失函数,有效地生成了更逼真的双人互动运动。

Abstract

本文提出了一种基于扩散的方法InterGen,用于生成高质量和多样化的双人互动运动。首先,我们贡献了一个新的人体互动数据集InterHuman,包含了丰富的文本描述和准确的骨骼运动数据。
在算法方面,我们提出了一种新的运动表示方式,能够更好地保留两人之间的空间关系。我们还引入了两个协作的变换器式去噪网络,通过权重共享和互注意力机制来平衡两人运动能力。此外,我们提出了两个新的正则化损失函数,分别编码了两人之间的空间干涉和相对朝向信息,并设计了一个损失衰减策略来进一步改善生成结果。
通过大量实验,我们证明了InterGen能够生成更逼真和多样化的双人互动运动,并展示了它在一些下游应用中的有效性,如轨迹控制、互动运动插值以及人与人之间的运动生成。

Stats

我们的数据集包含约107M帧的双人互动运动,持续时间为6.56小时。
数据集中包含23,337个独特的文本描述,由5656个不同的单词组成。

Quotes

无

Key Insights Distilled From

InterGen

by Han Liang,We... at arxiv.org 03-29-2024

https://arxiv.org/pdf/2304.05684.pdf

Deeper Inquiries

質問1

InterGenをさらに拡張して、より複雑な複数人の相互作用モーションを生成するためにはどのようにすればよいでしょうか？
InterGenをさらに拡張して、より複雑な複数人の相互作用モーションを生成するためには、いくつかのアプローチが考えられます。まず第一に、より多様な人間関係のシナリオや動作パターンをカバーするために、新しいデータセットの収集が重要です。さらに、より高度なモデルやアルゴリズムを導入して、複数人の相互作用をよりリアルかつ複雑に表現できるようにすることが重要です。例えば、より複雑な空間関係や物理的制約を考慮したモデルの導入、さらに多様な動作パターンやインタラクションを生成するための新しい機能の組み込みなどが考えられます。また、ユーザーがより細かい制御やカスタマイズができるようなインタラクティブなツールの開発も重要です。

質問2

InterGenは、テキスト以外の入力モード（ビデオやオーディオなど）を活用して、より豊かな人体相互作用を生成することができますか？
InterGenは、テキストによる入力を活用して高品質な人体相互作用モーションを生成する手法ですが、他のモードの入力も組み合わせることでさらに豊かな生成が可能です。例えば、ビデオやオーディオなどの情報を組み込むことで、よりリアルな動作や音声との同期など、より多様な情報を活用して生成を行うことができます。これにより、よりリッチな人体相互作用の表現やより多様な生成が可能となります。

質問3

人体相互作用モーション生成技術は、どのような実際の応用シナリオで重要な影響をもたらす可能性がありますか？
人体相互作用モーション生成技術は、仮想現実（VR）、拡張現実（AR）、ゲーム開発、映画制作など、さまざまな分野で重要な影響をもたらす可能性があります。例えば、VRやARのアプリケーションでは、リアルな人間関係やコミュニケーションをシミュレートするためにこの技術が活用されることが考えられます。また、ゲームや映画制作においても、よりリアルな人体相互作用モーションを生成することで、より没入感のある体験や表現が可能となります。さらに、教育やトレーニング、医療分野などでも、人体相互作用モーション生成技術は有用であり、さまざまな応用が期待されています。