FreeMotion：利用多模態大型語言模型實現無需動作捕捉的人體動作合成

核心概念

本文提出了一種名為 FreeMotion 的新型框架，利用多模態大型語言模型 (MLLMs) 根據自然語言指令合成開放式人體動作，無需任何動作捕捉數據。

摘要

概述

本研究論文介紹了一種名為 FreeMotion 的創新框架，該框架利用多模態大型語言模型 (MLLMs) 根據自然語言指令合成開放式人體動作，無需任何動作捕捉數據。

研究背景

傳統的人體動作合成方法依賴於動作捕捉 (MoCap) 數據，這些數據獲取成本高且難以涵蓋各種人體動作。近年來，多模態大型語言模型 (MLLMs) 在理解和適應開放式場景方面展現出非凡的能力，這促使研究人員探索利用 MLLMs 進行無需 MoCap 數據的人體動作合成。

研究方法

FreeMotion 將問題分解為兩個階段：

1. 基於 MLLMs 的順序關鍵幀生成：
   • 利用兩個專門的 GPT-4V 模型作為關鍵幀設計師和動畫師。
   • 關鍵幀設計師將動作指令轉換為一系列低級別的關鍵幀表示，包括每個關鍵幀的全身描述和身體部位描述。
   • 關鍵幀動畫師根據設計師提供的描述，利用預先定義的命令集調整人體模型的姿態，並通過視覺反饋進行迭代優化。
2. 通過插值和動作跟踪進行動作填充：
   • 對生成的關鍵幀序列進行線性插值，生成連續的動作幀。
   • 採用基於 CVAE 的動作跟踪策略，結合基於 MLP 的環境感知世界模型，修正插值過程中可能出現的物理上不合理的姿態和過渡。

實驗結果

FreeMotion 在多項下游任務中展現出優異的性能，包括：

• 動作合成： 在 HumanAct12 數據集上優於傳統的數據驅動方法 (MDM [37] 和 MLD [6])，並在奧運體育動作合成方面超越了零樣本動作合成方法 (MotionCLIP [36] 和 AvatarCLIP [16])。
• 風格遷移： 能夠根據文本描述生成具有特定風格的動作，例如「快樂地跳躍」、「像老人一樣走路」。
• 人與場景互動： 能夠識別場景中的物體並生成與之互動的動作，例如坐在椅子上、躺在床上、伸手觸摸物體。
• 不規則地形行走： 能夠在不規則地形上行走，例如在石頭上行走。

研究結論

FreeMotion 框架證明了利用 MLLMs 進行無需動作捕捉數據的人體動作合成的可行性，為該領域的未來研究開闢了新的方向。

未來方向

• 探索更強大的姿態調整技術，例如使用神經網絡將自然語言描述映射到人體姿態。
• 研究如何處理更複雜的人體動作，例如舞蹈。
• 提高模型處理長文本指令的能力。
• 改善模型在接觸豐富的場景下的性能。

統計資料

FreeMotion 在 HumanAct12 數據集上的平均用户偏好得分為 46.50%，優於 MDM [37] 的 22.67% 和 MLD [6] 的 30.83%。
在奧運體育動作合成方面，FreeMotion 的平均用户偏好得分顯著高於 MotionCLIP [36] 和 AvatarCLIP [16]。
在風格遷移任務中，FreeMotion 的平均用户偏好得分為 58.67%，優於 MotionCLIP [36] 的 19.08% 和 AvatarCLIP [16] 的 22.25%。
在人與場景互動任務中，FreeMotion 在「坐下」、「躺下」和「伸手觸摸」三個任務上的成功率均達到 95%。
在不規則地形行走任務中，FreeMotion 在多個場景下的表現與 ALLSTEPS [42] 相當或更優。

引述

"In this work, we for the first time, without any motion data, explore open-set human motion synthesis using natural language instructions as user control signals based on MLLMs across any motion task and environment."
"Our method can potentially serve as an alternative to motion capture for collecting human motion data, especially when the cost of motion capture is huge (e.g., collecting human interaction with different scenes)."

從以下內容提煉的關鍵洞見

FreeMotion: MoCap-Free Human Motion Synthesis with Multimodal Large Language Models

by Zhikai Zhang... 於 arxiv.org 11-12-2024

https://arxiv.org/pdf/2406.10740.pdf

深入探究

如何將 FreeMotion 框架擴展到多人互動場景，例如生成兩個人握手的動作？

將 FreeMotion 框架擴展到多人互動場景，例如兩個人握手，需要克服幾個挑戰：

多人動作協調: FreeMotion 需要同時控制多個角色的動作，確保動作協調一致，例如兩個人的手同時伸出，並在正確的時間和位置接觸。這需要更複雜的關鍵影格設計和動作填充算法，可能需要考慮角色之間的相對位置、動作時序和物理接觸等因素。

互動行為理解: MLLM 需要理解更複雜的互動行為描述，例如「握手」的具體方式、力度和時長等。這可能需要更豐富的訓練數據和更強大的 MLLM 模型，才能準確地將自然語言指令轉換為角色動作。

多人環境感知: FreeMotion 的環境感知模塊需要同時考慮多個角色的位置和動作，避免角色之間發生碰撞或穿透。這可能需要更複雜的碰撞檢測和處理算法。

以下是一些可能的解決方案：

分層式關鍵影格生成: 可以使用多個 MLLM 分別生成每個角色的關鍵影格，再使用一個更高層級的 MLLM 協調不同角色的動作時序和相對位置，確保動作協調一致。
圖神經網絡: 可以使用圖神經網絡來建模多個角色之間的關係和互動，例如使用圖卷積網絡來學習角色之間的空間關係和動作依賴關係。
基於約束的動作優化: 可以使用基於約束的動作優化方法，例如逆運動學和物理模擬，來調整角色的動作軌跡，確保動作滿足物理約束和互動要求。
總之，將 FreeMotion 擴展到多人互動場景需要克服許多技術挑戰，但也是一個非常有前景的研究方向。

如果輸入的自然語言指令包含歧義，FreeMotion 如何處理？例如，"跳到桌子上" 可以有多種跳躍方式和落腳點。

FreeMotion 目前還不能很好地處理輸入指令中包含歧義的情況。由於 MLLM 缺乏真實世界的常識和物理規律的理解，它可能會生成不合理的動作序列，例如以不符合物理規律的方式跳躍，或者選擇不安全的落腳點。
以下是一些 FreeMotion 可以嘗試處理歧義的方法：

多樣性生成: FreeMotion 可以生成多個符合指令描述的動作序列，並將這些序列呈現給用戶，讓用戶選擇最符合預期的動作。
互動式 уточнение: FreeMotion 可以通過與用戶互動來 уточнение 指令的含義。例如，當用戶輸入 "跳到桌子上" 時， FreeMotion 可以詢問用戶 "你想以什麼方式跳到桌子上？" 或者 "你想落在桌子的哪個位置？"
結合上下文信息: FreeMotion 可以嘗試結合場景信息和用戶歷史指令來推斷用戶的意圖。例如，如果桌子上放著一個蘋果， FreeMotion 可以推斷用戶想要跳到桌子上拿蘋果。

總之，處理自然語言指令的歧義是 FreeMotion 需要解決的一個重要問題。未來的研究可以探索結合常識知識庫、物理模擬和用戶互動等方法，提高 FreeMotion 對歧義指令的處理能力。

FreeMotion 的發展是否意味著未來遊戲開發者可以完全擺脫動作捕捉技術，僅憑藉文本描述就能創造出逼真的人物動作？

FreeMotion 的發展為遊戲開發者提供了一種全新的思路，但現階段還不能完全取代動作捕捉技術。
FreeMotion 的優勢:

降低成本: FreeMotion 不需要昂貴的動作捕捉設備和場地，可以大大降低遊戲開發成本。
提高效率: FreeMotion 可以快速生成大量的人物動作，提高遊戲開發效率。
增強創造力: FreeMotion 可以讓遊戲開發者更自由地探索不同的動作設計，不受限於動作捕捉數據庫。
FreeMotion 的局限性:

動作質量: FreeMotion 生成的動作質量還無法與專業的動作捕捉技術相比，尤其是在處理複雜動作和物理互動方面。
指令歧義: FreeMotion 目前還不能很好地處理自然語言指令的歧義，需要進一步提升 MLLM 的理解能力。
風格化控制: FreeMotion 在動作風格化控制方面還有待提升，例如如何精確地控制角色的情緒和個性。
結論:
FreeMotion 是一個非常有潛力的技術，但目前還處於發展初期。未來隨著 MLLM 技術的進步和訓練數據的豐富， FreeMotion 有望在遊戲開發中發揮更大的作用。但動作捕捉技術仍然具有其不可替代的優勢，兩種技術將長期共存，相互補充。遊戲開發者可以根據具體需求選擇合適的技術方案。