強調顯著姿態語義一致性的語音驅動手勢生成方法

Kernekoncepter

本文提出了一種新的語音驅動手勢生成方法，通過強調顯著姿態的語義一致性來生成更自然、更逼真的手勢。

Resumé

研究背景
語音驅動手勢生成旨在合成與輸入語音信號同步的手勢序列，在虛擬化身動畫、人機交互等領域有著廣泛的應用。
研究挑戰
由於語音和手勢之間存在顯著的模態差距，生成與語音內容一致且自然的手勢成為一個重要的挑戰。
本文貢獻
本文提出了一種新的語音驅動手勢生成方法，通過強調顯著姿態的語義一致性來生成更自然、更逼真的手勢。
方法概述

聯合流形空間學習: 學習音頻和身體姿態表示的聯合流形空間，以探索兩種模態之間的語義關聯，並通過一致性損失來確保音頻和姿態特徵在共享的聯合嵌入空間中彼此接近並表示相似的語義信息。
顯著姿態檢測器: 設計一個弱監督的顯著姿態檢測器來識別具有較大運動範圍的姿態，這些姿態通常對應於語音內容的強語義。
獨立的面部和身體合成: 觀察到面部表情依賴於與發音相關的音頻特徵，而身體姿態則與語音內容中的強語義密切相關，因此分別提取專用於面部表情和身體姿態的音頻特徵，並使用獨立的分支合成面部表情和身體姿態，同時通過一個面部-身體特徵對齊模塊來增強面部和身體部位之間的同步性。

實驗結果
在 Speech2Gesture 和 TED Expressive 數據集上進行的大量實驗表明，與現有方法相比，本文提出的方法在生成的手勢的自然度、保真度和同步性方面具有顯著的優勢。

Statistik

Oliver、Kubinec、Luo 和 Xing 四位演講者的視頻數量分別為 113、274、72 和 27，總長度約為 25 小時。
將 15 FPS 的視頻分割成 64 幀的片段進行訓練。
姿勢特徵提取器使用隱藏大小為 1024 的單層 GRU。
音頻-姿勢聯合嵌入空間的維度 D 為 512。
顯著姿態檢測器模塊的初始特徵和交互特徵的維度 D1 和 D2 分別設置為 512 和 1024。
top-k 值設置為 16。
訓練和測試的批量大小為 32。
使用 Adam 優化器，學習率設置為 0.0001。
超參數設置為：λr = 10，λreg = 10，λh = 20，λcon = 1，λc = 1。

Vigtigste indsigter udtrukket fra

Emphasizing Semantic Consistency of Salient Posture for Speech-Driven Gesture Generation

by Fengqi Liu, ... kl. arxiv.org 10-18-2024

https://arxiv.org/pdf/2410.13786.pdf

Dybere Forespørgsler

如何將本文提出的方法應用於生成全身手勢，包括腿部和腳部的動作？

要將本文提出的方法應用於生成全身手勢，需要進行以下調整：

數據集擴展: 目前使用的数据集主要集中在上半身姿态，需要收集包含腿部和腳部動作的新數據，并使用三维姿态估计算法（如ExPose [9]）获取更精確的全身关键点标注。
模型输入输出调整:

输入: 音频特征提取部分可以保持不变，但需要根据全身姿态的特点设计新的音频特征编码方式，例如，可以考虑将音频特征分解为与上半身、腿部、脚步相关的多个子特征，分别进行编码。
输出: 姿态解码器需要输出更多维度的信息以控制全身姿态，包括腿部和腳部的关键点坐标。

** salient posture detector 调整**: 需要重新定义 salient posture，使其不仅包含上半身的大幅度动作，也包含腿部和腳部的显著动作，例如迈步、跳跃等。 可以根据全身姿态的特点设计新的特征提取器和时序关系模块，以更好地识别全身姿态的显著动作。
损失函数调整: 需要根据全身姿态的特点调整损失函数，例如，可以考虑对不同身体部位的关键点设置不同的权重，以平衡不同部位的生成质量。

需要注意的是，全身姿态的生成比上半身姿态生成更加复杂，因为腿部和腳部的动作不仅与语音内容相关，还受到行走、站立等动作的影响。 因此，在进行全身姿态生成时，需要更加关注动作的协调性和自然度。

如果演講者的語音風格非常平淡，沒有明顯的語氣變化，本文提出的方法是否仍然有效？

如果演講者的語音風格非常平淡，沒有明顯的語氣變化，本文提出的方法效果可能会受到一定影响。
原因在于：

Salient Posture 检测: 本文提出的 salient posture detector 依赖于语音中的语义信息来识别与之对应的显著姿态。 如果语音缺乏情感和语调变化，模型可能难以准确识别 salient posture，从而影响最终生成的姿态质量。
语义关联学习: 本文方法的核心在于学习语音和姿态之间的语义关联。 语音风格平淡意味着语音信号中包含的语义信息较少，这会增加模型学习语音和姿态之间映射关系的难度，影响生成姿态的自然度和表现力。
为了提升模型在处理平淡语音风格时的效果，可以尝试以下方法：

引入文本信息: 可以尝试将文本信息作为额外的输入，补充语音信号中缺失的语义信息，帮助模型更好地理解语音内容，学习更准确的语音-姿态映射关系。
风格迁移学习: 可以尝试使用风格迁移学习的方法，将具有丰富情感的语音样本的姿态风格迁移到平淡语音样本中，提升生成姿态的表现力。
强化学习: 可以尝试使用强化学习的方法，通过设计合适的奖励函数，引导模型生成更加自然、更符合平淡语音风格的姿态。

如何利用生成的手勢來改善語音識別或語音合成的性能？

利用生成的手势可以从以下几个方面改善语音识别或语音合成的性能：
1. 语音识别方面:

提供额外的视觉信息: 将生成的手势作为视觉信息输入语音识别模型，可以补充语音信号中缺失的信息，尤其是在嘈杂环境下，手势信息可以帮助模型更好地理解语音内容，提高识别准确率。
注意力机制引导: 可以使用生成的手势信息引导语音识别模型的注意力机制，使其更加关注与手势动作相关的语音片段，从而提高关键信息的识别准确率。
多模态语音识别: 可以将生成的手势与语音信号融合，构建多模态语音识别模型，更全面地捕捉语音信息，提高识别鲁棒性和准确率。
2. 语音合成方面:

提升合成语音的自然度: 在语音合成过程中，加入与语音内容一致的自然手势，可以使生成的语音更加生动、形象，提升合成语音的自然度和表现力。
控制合成语音的情感: 通过控制生成手势的类型和强度，可以间接地控制合成语音的情感表达，例如，生成带有疑问语气的手势可以使合成语音听起来更像是在提问。
构建更具互动性的语音合成系统: 可以利用生成的手势构建更具互动性的语音合成系统，例如，可以让虚拟人物根据用户的语音输入和手势动作进行实时互动，提升用户体验。
总而言之，将生成的手势应用于语音识别或语音合成领域，可以有效提升模型的性能和用户体验。 随着技术的不断发展，未来将会出现更多将手势信息与语音信息相结合的应用场景。