機器人說話時伴隨觸覺回饋的情感表達系統

核心概念

本研究開發了一個系統，在通訊機器人說話時，根據文本的情感內容提供觸覺回饋，實驗結果表明，伴隨觸覺回饋的交流可以影響心理狀態和親密程度。

摘要

研究論文摘要

書目資訊

Konishi, Y., & Tanaka, Y. (2023). 機器人說話時伴隨觸覺回饋的情感表達系統. 2023 年日本機器人學會學術研討會.

研究目標

本研究旨在開發一種通訊系統，在通訊機器人說話的同時提供觸覺刺激，並探討其對使用者心理狀態和親密程度的影響。

研究方法

研究人員開發了一個系統，使用 OpenAI 的 GPT-4o Mini 從文本中提取情感值（效價和喚醒度），並根據這些值控制正弦波觸覺刺激的幅度和頻率。實驗中，參與者在聆聽機器人說話的同時手持觸覺顯示裝置，並使用自我評估人體模型 (SAM) 和自我包容他人量表 (IOS) 評估他們的心理狀態和親密程度。

主要發現

研究結果表明，與沒有觸覺回饋的情況相比，有觸覺回饋的情況下，參與者的效價評分趨於更不愉快，而喚醒度評分則更高。此外，觸覺回饋也影響了參與者對親密程度的感知，部分參與者表示觸覺回饋增強了親密感，而另一些參與者則表示干擾了親密感。

主要結論

研究結果表明，機器人在說話時提供觸覺回饋可以影響使用者的心理狀態和親密程度。未來研究將進一步探討不同類型的觸覺刺激的效果，並進行長期研究以了解該系統在日常生活中的影響。

研究意義

本研究對於設計更自然、更具吸引力的互動式機器人系統具有重要意義，觸覺回饋的應用可以增強人機互動的情感深度，並促進更積極的使用者體驗。

研究限制與未來方向

本研究的局限性包括樣本量較小、實驗環境受控，以及僅使用了一種觸覺顯示裝置。未來研究可以招募更多參與者，在更自然的環境中進行實驗，並探索不同類型觸覺刺激的效果。此外，還可以探討觸覺回饋與其他感官模態（如視覺和聽覺）的結合，以創造更豐富、更身臨其境的互動體驗。

統計資料

效價值範圍從 100（愉快）到 0（不愉快）。
頻率範圍為 500-60 Hz。
振幅以 16 位元整數值表示，範圍從 8000 到 32767。
觸覺刺激的基本持續時間為 0.5 秒。
每個平假名字符增加 0.1 秒，每個漢字字符增加 0.2 秒。
實驗共有 6 名參與者，其中男性 4 名，女性 2 名，年齡均為 20 多歲。
實驗使用了 10 個短語，以隨機順序呈現。

引述

「像『哎喲！哎喲！別打我』或『我做了一個有點可怕的夢』這樣的句子，加上低頻振動，會讓人產生強烈或不愉快的情緒。」
「儘管這些說法是積極的，但高頻振動讓人感到不舒服。」
「我很驚訝振動竟然能如此改變我的愉悅/不愉悅和喚醒程度。」
「振動讓我更加意識到 Sota 的存在。」
「Sota 很可愛。」
「振動干擾了我與 Sota 的親密感。」

從以下內容提煉的關鍵洞見

An emotional expression system with vibrotactile feedback during the robot's speech

by Yuki Konishi... 於 arxiv.org 11-11-2024

https://arxiv.org/pdf/2411.05118.pdf

深入探究

除了情感表達，觸覺回饋還可以用於哪些方面來增進人機互動？

除了情感表達，觸覺回饋在人機互動中還有許多其他的應用，以下列舉幾項：

增強沉浸感和臨場感: 在虛擬實境 (VR) 或擴增實境 (AR) 環境中，觸覺回饋可以模擬真實世界的觸感，例如物體的質地、重量和溫度，進一步提升使用者的沉浸感和臨場感。

提供導航和方向指引: 觸覺回饋可以用於提供導航和方向指引，例如透過震動引導使用者前往特定地點，或是在使用者偏離預設路線時發出警示。

輔助學習和訓練: 在學習和訓練過程中，觸覺回饋可以提供即時回饋和糾正，例如在模擬手術訓練中，觸覺回饋可以讓使用者感受到虛擬組織的阻力和切割感，提升訓練效果。

增進人機協作: 在人機協作的場景中，觸覺回饋可以讓使用者更直觀地理解機器人的動作意圖，例如透過觸覺信號傳遞機器人手臂的移動方向和力度，提升協作效率和安全性。

協助身心障礙人士: 觸覺回饋可以為視覺或聽覺障礙人士提供替代性的資訊傳遞方式，例如透過觸覺圖形顯示或震動模式傳遞文字訊息。

總而言之，觸覺回饋作為一種重要的感官通道，在人機互動中具有廣泛的應用前景，可以提升使用者體驗、增進人機溝通和協作效率。

如果將觸覺回饋與機器人的面部表情和語調同步，是否會產生更強烈的情感影響？

將觸覺回饋與機器人的面部表情和語調同步，的確有可能產生更強烈的情感影響。人類的情感表達是一個多模態的過程，同時涉及語音、表情、肢體動作等多種感官通道。當這些通道的信息一致時，我們更容易理解和感受對方的情感。
在人機互動中，如果機器人能夠同步其語音、表情和觸覺回饋，例如在表達悲伤的情緒時，機器人可以同步表現出悲伤的表情、使用低沉的語調，並產生輕微的震動，這樣多感官的同步刺激可以讓使用者感受到更真實、更強烈的情感。
然而，需要注意的是，多模態情感表達的设计需要非常謹慎。不同感官通道的信息需要相互協調，避免產生矛盾或突兀的感覺。此外，不同文化背景下的人們對於情感表達的理解也可能存在差異，因此在設計時需要考慮到跨文化因素。

在虛擬實境或擴增實境環境中，觸覺回饋如何改變我們與虛擬角色或虛擬世界的互動方式？

在虛擬實境或擴增實境環境中，觸覺回饋可以顯著改變我們與虛擬角色或虛擬世界的互動方式，主要體現在以下幾個方面：

提升真實感和沉浸感: 觸覺回饋可以模擬真實世界中的觸感，例如觸摸虛擬物體時的質感、抓握虛擬工具時的重量感，以及感受到虛擬環境中的溫度變化等。這些真實的觸覺體驗可以有效提升虛擬環境的真實感和沉浸感，讓使用者感覺身臨其境。

增進互動的自然性和直觀性: 在虛擬世界中，我們可以透過觸覺回饋以更自然、更直觀的方式與虛擬角色或虛擬物體進行互動。例如，我們可以感受到虛擬角色握手時的力度和溫度，可以感受到虛擬工具的操作阻尼和反饋力，這些觸覺信息可以讓我們更直觀地理解虛擬世界的物理規律和互動机制。

創造更豐富的情感體驗: 觸覺回饋可以被用於傳遞情感信息，例如虛擬角色可以透過觸摸表達安慰、鼓勵或愛意等情感。觸覺回饋可以讓虛擬角色的情感表達更加生動和真實，進而創造更豐富的情感體驗。

拓展虛擬世界的應用領域: 觸覺回饋的應用可以拓展虛擬世界的應用領域，例如在虛擬醫療培訓中，醫生可以透過觸覺回饋感受到虛擬器官的觸感和手術器械的操作阻力，提升培訓效果；在虛擬產品設計中，設計師可以透過觸覺回饋評估虛擬產品的握持感和操作舒適度，優化產品設計。

總而言之，觸覺回饋在虛擬實境或擴增實境環境中扮演著至關重要的角色，它可以提升虛擬環境的真實感、增進互動的自然性和直觀性、創造更豐富的情感體驗，以及拓展虛擬世界的應用領域。