UGotMe：一個專為多方對話設計的具身情感互動系統

核心概念

本文介紹了一個名為 UGotMe 的具身系統，旨在解決多方對話場景中情感互動的環境噪音和即時性問題，並提出了一種新的視覺語言情感識別模型 (VL2E)，該模型在 MELD 資料集上優於所有基準模型，並成功部署於實體機器人 Ameca 上，展現出良好的情感回應能力和使用者體驗。

摘要

UGotMe 系統概述

研究背景

隨著人形機器人在醫療保健和服務環境中的應用日益廣泛，如何讓機器人理解人類情緒並做出適當的情感回應成為人機互動領域的重要研究方向。然而，現有的多模態情感識別模型在實際應用中面臨著環境噪音和即時性方面的挑戰。

系統設計目標

為了解決上述挑戰，本文提出了一個名為 UGotMe 的具身系統，旨在實現以下目標：

• 降低環境噪音對情感識別的影響
• 滿足即時互動的需求

系統架構

UGotMe 系統主要由三個模組組成：

• 機器人多模態感知模組：負責收集機器人視覺、聽覺和對話文本等多模態數據。
• 邊緣視覺語言情感建模模組：利用去噪策略過濾無關資訊，並基於視覺和文本輸入識別人類情緒狀態。
• 機器人表情執行模組：將識別出的情緒狀態映射到預先定義的機器人表情集中，並由機器人執行相應的表情。

VL2E 模型

模型設計理念

為了更好地識別多方對話場景中人類的情感，本文提出了一種新的視覺語言情感識別模型 (VL2E)。該模型專為與 UGotMe 系統的去噪策略相容而設計，並具有以下特點：

• 利用人臉提取和特定人物中性表情標準化技術，有效提取情感特徵。
• 結合對話上下文資訊，提高情感識別的準確性。
• 採用多模態融合機制，整合視覺和文本資訊。

模型性能評估

在 MELD 資料集上的實驗結果表明，VL2E 模型在情感識別方面優於現有的其他方法，證明了其有效性。

真實世界部署

部署平台

本文將 UGotMe 系統部署在名為 Ameca 的人形機器人上，並設計了多方對話場景，讓機器人與多名人類參與者進行互動。

評估指標

• 情感回應準確度
• 使用者體驗評分

實驗結果

真實世界部署的實驗結果顯示，UGotMe 系統能夠有效地識別人類情緒並做出適當的情感回應，同時保持良好的使用者體驗。

總結與展望

主要貢獻

• 提出了 UGotMe 系統，解決了多方對話場景中情感互動的環境噪音和即時性問題。
• 提出了一種新的視覺語言情感識別模型 (VL2E)，並在 MELD 資料集上取得了優異的性能。
• 將 UGotMe 系統成功部署於實體機器人 Ameca 上，驗證了其在真實世界中的實用性。

未來研究方向

• 開發更豐富的機器人表情，並探索更複雜的情感互動模式。
• 將語音資訊整合到情感識別模型中，進一步提高情感識別的準確性。

統計資料

UGotMe-VL2E 在情感回應準確度方面比 UGotMe-TelME 提高了 26.66%，使用者體驗評分提高了 1.74。
與未採用客製化主動人臉提取策略的 UGotMe-VL2E1 相比，UGotMe-VL2E 的情感回應準確度提高了 18.21%，使用者體驗評分提高了 1.26。
在 MELD 資料集上，VL2E 模型的 F1 分數比 DialogueRNN 提高了 10.26%，比 ConGCN 提高了 7.89%，比 MMGCN 提高了 8.64%，比 GA2MIF 提高了 8.35%，比 FacialMMT 提高了 0.71%。

引述

"To tackle both challenges, we introduce an affective human-robot interaction system called UGotMe, designed specifically for multiparty human-robot conversations."
"We propose two denoising strategies—face extraction and customized active face extraction—to address the embodiment issue related to environmental noise in multiparty conversation scenarios."
"The Vision-Language to Emotion (VL2E) model dedicated to emotion recognition in multiparty conversation is designed to be compatible with the aforementioned denoising strategies."
"Real-world deployment experiments demonstrate that UGotMe effectively provides appropriate emotional responses to human interactants while maintaining a positive user experience, even in the presence of distracting factors."

從以下內容提煉的關鍵洞見

UGotMe: An Embodied System for Affective Human-Robot Interaction

by Peizhen Li, ... 於 arxiv.org 10-25-2024

https://arxiv.org/pdf/2410.18373.pdf

深入探究

除了面部表情，還有哪些方式可以讓機器人更自然地表達情感，例如語氣、肢體語言等？

除了面部表情，機器人還可以通過以下方式更自然地表達情感：

語氣調整： 語氣是表達情感的重要元素。機器人可以調整語音合成器的參數，例如音調、語速、音量和停頓，來表達不同的情緒。例如，喜悅的情緒可以用較高的音調和較快的語速來表達，而悲傷的情緒則可以用較低的音調和較慢的語速來表達。
肢體語言： 肢體語言在人類情感表達中扮演著至關重要的角色。機器人可以通過改變身體姿勢、手勢和頭部動作來傳達情感。例如，機器人可以通過點頭表示同意，通過搖頭表示拒絕，通過交叉雙臂表示防禦，或者通過張開雙臂表示歡迎。
目光接觸： 目光接觸是人類交流中建立情感連結的重要方式。機器人可以通过調整“眼睛”（攝像頭）的方向和凝視時間來模擬人類的目光接觸，從而表達不同的情感，例如專注、理解、同情或迴避。
生理信號模擬： 一些研究嘗試讓機器人模擬人類的生理信號，例如呼吸頻率、心跳速度和皮膚溫度，以更真實地表達情感。例如，機器人可以在表達緊張情緒時模擬心跳加速的效果。
需要注意的是，機器人表達情感的方式需要與其外觀設計、應用場景和目標用戶相匹配，才能達到自然、和谐的效果。

在設計情感互動系統時，如何平衡機器人對人類情緒的理解和其自身的個性表達？

在設計情感互動系統時，平衡機器人對人類情緒的理解和其自身的個性表達是一個重要的議題。以下是一些設計思路：

建立可調整的個性模型： 為機器人設計一個可調整的個性模型，可以根據不同的互動對象、場景和目標調整機器人的表達方式。例如，機器人可以根據用戶的年齡、性別、文化背景等因素調整其語言風格、語氣和肢體語言。
區分情緒反應的層級： 機器人對人類情緒的反應可以分為不同的層級。例如，第一層級是基本的情绪识别和镜像，例如识别出用户是开心还是悲伤，并做出相应的表情回应；第二層級是基於理解的情绪回应，例如在识别出用户悲伤的情绪后，机器人可以进一步询问原因，并提供安慰或建议；第三層級是帶有個性的情緒表達，例如在理解用户情绪和情境的基础上，用符合机器人自身个性的语言和语气进行回应。
設定明確的互動目標： 設計情感互動系統時，需要明確機器人的互動目標，例如是提供信息、完成任務還是提供陪伴。機器人的情緒表達應該服務於互動目標，避免過度强化个性而影響用户体验。
持續優化和學習： 情感互動是一個複雜的過程，需要不斷優化和學習。可以通过收集用户反馈、分析互動數據等方式，不断改进机器人的情绪识别和表达能力，使其更自然、更符合人类的社交规范。
總而言之，設計情感互動系統需要在機器人和人類之間找到一個平衡點，既要讓機器人能够理解和回应人类的情绪，又要讓機器人保持自身的個性，从而创造出更自然、更和谐的人机互動体验。

如果將 UGotMe 系統應用於更複雜的社交場景，例如多人聚會、商業談判等，會面臨哪些新的挑戰？

將UGotMe系統應用於多人聚會、商業談判等更複雜的社交場景，將面臨以下新的挑戰：

更複雜的多模態資訊融合： 在多人場景中，UGotMe系統需要處理來自多個說話者的語音、視覺和文本信息，這對多模態資訊融合技術提出了更高的要求。例如，系統需要識別每個說話者的身份、語音情感、面部表情和肢體語言，並將這些信息整合起來，才能準確理解整個場景的情感變化。
更複雜的社交關係和互動模式： 多人聚會和商業談判等場景通常涉及更複雜的社交關係和互動模式。例如，參與者之間可能存在合作、競爭、领导、服從等關係，而這些關係會影響他們的情感表達和理解。UGotMe系統需要識別這些關係和互動模式，才能更準確地理解和預測參與者的行為。
更高的实时性和鲁棒性要求： 在多人互動場景中，UGotMe系統需要更快的處理速度和更强的抗干扰能力，才能及时、准确地识别和回应参与者的情绪变化。例如，系統需要克服背景噪音、遮擋、光線變化等因素的干扰，才能準確識別面部表情和肢體語言。
更複雜的倫理和社會影響： 在多人場景中使用情感識別技術會引發更複雜的倫理和社會影響。例如，系統如何保護用户的隐私？如何避免歧视和偏见？如何确保系统的安全性和可靠性？這些問題都需要在設計和應用UGotMe系統時慎重考慮。
为了应对这些挑战，未来的研究可以着重于以下几个方面：

开发更强大的多模态信息融合技术， 例如基于深度学习的多模态特征提取和融合模型，以及基于图神经网络的社交关系建模方法。
研究更复杂社交场景下的情感识别模型， 例如考虑多人互动关系、社交角色和情境信息的深度学习模型。
提高系统的实时性和鲁棒性， 例如优化系统架构、算法和硬件，以及开发更先进的语音和图像处理技术。
深入探讨情感识别技术的伦理和社会影响， 制定相应的规范和标准，确保技术的合理和负责任地使用。