로봇 음성에 맞춰 진동 촉각 피드백을 제공하는 감정 표현 시스템 개발

핵심 개념

본 연구는 로봇 음성에 맞춰 진동 촉각 피드백을 제공하는 시스템을 개발하여 사용자의 심리적 상태와 친밀도에 미치는 영향을 분석했습니다.

초록

연구 목표

본 연구는 로봇의 음성에 맞춰 진동 촉각 피드백을 제공하는 시스템을 개발하고, 이러한 촉각 피드백이 사용자의 심리적 상태와 로봇에 대한 친밀도에 미치는 영향을 평가하는 것을 목표로 합니다.

연구 방법

• OpenAI의 "GPT-4o Mini"를 활용하여 텍스트의 감정 (긍정-부정, 활성-비활성)을 분석하고, 이를 기반으로 진동 촉각 자극의 진폭과 주파수를 조절했습니다.
• 촉각 디스플레이를 통해 사용자에게 진동 촉각 자극을 제공했습니다.
• 실험 참가자들은 로봇의 음성을 들으면서 촉각 디스플레이를 통해 진동 촉각 피드백을 받거나 받지 않는 두 가지 조건에서 SAM (Self-Assessment Manikin)을 사용하여 감정 상태를 평가하고, IOS (Inclusion of Other in the Self) 척도를 사용하여 로봇에 대한 친밀도를 평가했습니다.

주요 연구 결과

• 진동 촉각 피드백은 사용자의 감정 상태에 영향을 미칠 수 있습니다. 특히, 부정적인 감정을 나타내는 문구와 함께 저주파 진동이 제공되었을 때 불쾌감이 증가하는 경향을 보였습니다.
• 진동 촉각 피드백은 사용자의 각성 수준을 높이는 경향을 보였습니다.
• 진동 촉각 피드백은 로봇에 대한 친밀도를 높이는 경향을 보였지만, 개인차가 존재했습니다.

연구의 의의

본 연구는 로봇의 음성과 함께 제공되는 진동 촉각 피드백이 사용자의 심리적 상태와 로봇에 대한 친밀도에 영향을 미칠 수 있음을 시사합니다. 이는 향후 인간-로봇 상호작용을 개선하는 데 활용될 수 있습니다.

연구의 한계점 및 향후 연구 방향

• 본 연구는 제한된 수의 참가자를 대상으로 수행되었으며, 더 많은 참가자를 대상으로 한 추가 연구가 필요합니다.
• 다양한 유형의 진동 촉각 자극을 사용하여 사용자 경험을 향상시키는 방법에 대한 추가 연구가 필요합니다.
• 장기간 사용 시 진동 촉각 피드백이 사용자에게 미치는 영향을 평가하는 연구가 필요합니다.

통계

긍정적인 감정은 100에서 0 사이의 값으로, 불쾌한 감정은 0에서 100 사이의 값으로 변환되었습니다.
진동 주파수는 긍정적인 감정에 대해 500Hz에서 60Hz까지, 불쾌한 감정에 대해 60Hz에서 500Hz까지 선형적으로 매핑되었습니다.
진동 진폭은 0에서 100까지의 활성화 값에 대해 8000에서 32767까지의 16비트 정수 값으로 변환되었습니다.
진동 촉각 자극의 기본 지속 시간은 0.5초로 설정되었으며, 텍스트 길이에 따라 히라가나 문자당 0.1초, 한자 문자당 0.2초가 추가되었습니다.

인용구

"‘아야!’ 또는 ‘무서운 꿈을 꿨어’와 같은 말과 저주파 진동이 합쳐지니 강렬하거나 불쾌한 감정이 느껴졌다."
"긍정적인 내용의 말임에도 불구하고 고주파 진동은 불편하게 느껴졌다."
"진동으로 인해 긍정적/부정적 감정과 각성 수준이 얼마나 달라지는지 놀라웠다."
"진동 때문에 소타에게 더 집중하게 되었다."

핵심 통찰 요약

An emotional expression system with vibrotactile feedback during the robot's speech

by Yuki Konishi... 게시일 arxiv.org 11-11-2024

https://arxiv.org/pdf/2411.05118.pdf

더 깊은 질문

시각, 청각 정보와 함께 진동 촉각 피드백을 활용하여 사용자 경험을 극대화할 수 있는 다른 분야는 무엇일까요?

진동 촉각 피드백은 다양한 분야에서 사용자 경험을 극대화할 수 있는 잠재력을 가지고 있습니다. 몇 가지 예시와 함께 자세히 살펴보겠습니다.

엔터테인먼트 (영화, 게임, VR/AR): 몰입형 콘텐츠를 즐길 때, 진동 촉각 피드백은 현실감을 더하는 강력한 도구가 될 수 있습니다. 예를 들어, 영화 속 폭발 장면에서 진동을 느끼거나, 게임 캐릭터가 공격받을 때의 충격을 느끼는 것은 사용자의 몰입도를 높여줍니다. VR/AR 환경에서는 가상 객체와의 상호작용을 더욱 실감나게 만들어 줄 수 있습니다.

영화: 액션 장면의 충격, 공포 영화의 분위기 조성, 로맨스 영화의 설렘 등을 촉각적으로 전달하여 몰입감을 높일 수 있습니다.
게임: 캐릭터의 움직임, 공격, 피격, 아이템 획득 등을 진동으로 표현하여 게임의 현실감과 재미를 더할 수 있습니다.
VR/AR: 가상 환경과의 상호작용, 촉감 경험, 현실 세계와의 연동 등을 통해 몰입감을 극대화할 수 있습니다.

교육 및 훈련: 시뮬레이션 기반 교육이나 훈련에서 진동 촉각 피드백은 실제와 유사한 경험을 제공하여 학습 효과를 높일 수 있습니다. 예를 들어, 비행 시뮬레이션에서 비행기의 움직임을 진동으로 느끼거나, 수술 시뮬레이션에서 수술 도구의 촉감을 느끼는 것은 실제 상황에 대한 이해도와 대처 능력을 향상시키는 데 도움이 됩니다.

의료 훈련: 수술 시뮬레이션에서 장기나 도구의 촉감을 재현하여 실습 효과를 높일 수 있습니다.
항공 훈련: 비행 시뮬레이션에서 비행기 조종 시 발생하는 진동을 구현하여 현실감을 더할 수 있습니다.
운전 훈련: 운전 시뮬레이션에서 도로 상태, 차량 충돌, 위험 상황 등을 진동으로 알려 안전 교육 효과를 높일 수 있습니다.

헬스케어 및 재활: 환자의 재활 운동을 돕거나, 장애인의 감각 보조 수단으로 활용될 수 있습니다. 예를 들어, 뇌졸중 환자의 재활 운동 시, 올바른 자세를 유지하도록 촉각적인 피드백을 제공하거나, 시각 장애인에게 길 안내 정보를 진동으로 전달할 수 있습니다.

재활 치료: 환자의 움직임을 보조하고, 올바른 운동 방법을 안le;
보행 보조: 시각 장애인에게 장애물 정보, 방향 안내 등을 진동으로 제공하여 안전한 보행을 지원할 수 있습니다.
감각 대체: 청각 장애인에게 소리 정보를, 시각 장애인에게는 이미지 정보를 진동 패턴으로 변환하여 전달할 수 있습니다.

소셜 미디어 및 커뮤니케이션: 감정 전달을 위한 새로운 수단으로 활용될 수 있습니다. 예를 들어, 메시지 앱에서 메시지의 감정 상태에 따라 다른 진동 패턴을 사용하거나, 멀리 떨어져 있는 사람들이 서로의 감정을 촉각적으로 공유할 수 있도록 하는 기기 등에 활용될 수 있습니다.

감정 전달: 메시지, 음악, 영상 등의 콘텐츠에 감정을 담아 진동으로 전달하여 더욱 풍부한 소통을 가능하게 합니다.
원격 소통: 멀리 떨어진 사람들이 서로의 감정, 촉감, 심박수 등을 진동으로 공유하며 더욱 가깝게 연결될 수 있도록 합니다.
소셜 VR: 가상 공간에서 아바타 간의 신체 접촉, 감정 표현 등을 진동으로 구현하여 더욱 현실적인 상호작용을 가능하게 합니다.
이 외에도 진동 촉각 피드백은 다양한 분야에서 사용자 경험을 향상시키는 데 활용될 수 있습니다. 앞으로 기술 발전과 함께 더욱 다양한 분야에서 촉각 정보가 중요한 역할을 하게 될 것으로 예상됩니다.

로봇과의 상호작용에서 사용자의 감정 상태를 고려하지 않고 일률적으로 긍정적인 촉각 피드백만 제공한다면 어떤 문제가 발생할 수 있을까요?

로봇과의 상호작용에서 사용자의 감정 상태를 고려하지 않고 일률적으로 긍정적인 촉각 피드백만 제공한다면 다음과 같은 문제가 발생할 수 있습니다.

상황 부적절 및 사용자 불쾌감: 사용자의 감정 상태와 맞지 않는 촉각 피드백은 상황에 대한 몰입을 방해하고 오히려 불쾌감을 유발할 수 있습니다. 예를 들어, 사용자가 슬픔을 느끼는 상황에서 로봇이 긍정적인 촉각 피드백을 제공한다면 사용자는 로봇이 자신의 감정을 이해하지 못한다고 느끼거나 오히려 위로받지 못한다는 느낌을 받을 수 있습니다.

오해 및 불신: 로봇의 촉각 피드백이 사용자의 감정과 일치하지 않으면 로봇의 행동과 의도에 대한 오해가 생길 수 있습니다. 사용자는 로봇이 자신의 감정을 무시하거나 조롱한다고 느낄 수 있으며, 이는 로봇에 대한 불신으로 이어질 수 있습니다.

상호작용 단절: 일방적인 긍정적 피드백은 로봇과의 상호작용을 인위적이고 피상적인 관계로 만들 수 있습니다. 진정한 소통은 긍정적 감정뿐 아니라 부정적 감정까지 공유하고 이해할 때 가능합니다.

로봇에 대한 비현실적인 기대: 사용자는 로봇이 항상 긍정적인 반응만을 보여주는 존재라는 비현실적인 기대를 가질 수 있습니다. 이는 실제 로봇과의 상호작용에서 괴리감을 느끼게 하고, 로봇에 대한 실망감으로 이어질 수 있습니다.
결론적으로, 로봇과의 상호작용에서 긍정적인 촉각 피드백만 제공하는 것은 단기적으로는 긍정적인 반응을 이끌어낼 수 있지만, 장기적으로는 사용자의 감정을 무시하고, 오해를 불러일으키며, 상호작용을 단절시키는 등 여러 문제를 야기할 수 있습니다. 따라서 로봇은 사용자의 감정 상태를 정확하게 파악하고 그에 맞는 촉각 피드백을 제공할 수 있도록 설계되어야 합니다.

인간과 로봇 사이의 상호작용에서 촉각 경험이 중요해짐에 따라, 촉각을 이용한 예술이나 문화 콘텐츠는 어떻게 발전할 수 있을까요?

인간과 로봇 사이의 상호작용에서 촉각 경험의 중요성이 부각되면서, 촉각을 이용한 예술이나 문화 콘텐츠는 더욱 다양하고 혁신적인 방향으로 발전할 수 있습니다.
1. 촉각 중심의 예술 장르 확장:

로봇 퍼포먼스: 움직임, 압력, 진동 등을 통해 다양한 촉각적 자극을 전달하는 로봇을 활용한 공연예술이 등장할 수 있습니다. 관객들은 로봇과 직접적인 촉각적 상호작용을 통해 새로운 예술적 경험을 할 수 있을 것입니다.

예시: 로봇의 움직임에 따라 변화하는 압력을 통해 관객에게 감정을 전달하는 로봇 무용, 로봇이 관객의 손길에 반응하여 촉각적 이미지를 만들어내는 인터랙티브 설치 예술 등

촉각 영화/음악: 시각, 청각 정보뿐만 아니라 촉각 정보까지 포함된 새로운 형태의 영화나 음악이 제작될 수 있습니다. 특수 제작된 의자, 장갑, 햅틱 슈트 등을 통해 관객들은 영상이나 음악에 맞춰 다양한 촉각적 자극을 느끼며 더욱 몰입감 있는 경험을 할 수 있을 것입니다.

예시: 영화 속 장면의 분위기나 감정을 진동, 온도 변화 등으로 표현하는 촉각 영화, 음악의 리듬이나 악기의 질감을 촉각적으로 느낄 수 있는 촉각 음악 등

가상/증강 현실 예술: VR/AR 기술과 햅틱 기술의 결합을 통해 사용자들에게 몰입감 있는 촉각 경험을 제공하는 예술 작품이 등장할 수 있습니다. 사용자들은 가상 공간에서 실제와 같은 촉감을 느끼며 예술 작품과 상호작용하고, 작품의 의미를 더욱 풍부하게 이해할 수 있을 것입니다.

예시: 가상 박물관에서 실제 유물을 만지는 듯한 경험을 제공하는 VR 전시, 햅틱 장갑을 통해 가상 공간에서 그림을 그리는 듯한 촉각적 경험을 제공하는 AR 드로잉 프로그램 등
2. 촉각 데이터의 예술적 활용:

감정 데이터 시각화: 로봇이 수집한 사용자의 촉각 데이터, 예를 들어, 터치 강도, 쓰다듬는 속도, 손의 떨림 등을 분석하여 사용자의 감정 상태를 유추하고 이를 시각 예술 작품으로 표현할 수 있습니다.
촉각 데이터 기반 작곡: 로봇이 수집한 촉각 데이터를 음악적 요소(음높이, 리듬, 음색)로 변환하여 새로운 음악을 작곡하는 데 활용할 수 있습니다. 이는 촉각 데이터를 통해 인간의 감정이나 경험을 표현하는 새로운 방식이 될 수 있습니다.
3. 촉각 중심의 문화 콘텐츠 제작:

로봇과의 촉각적 소통: 촉각을 통해 로봇과 소통하고 교감하는 경험을 제공하는 문화 콘텐츠가 등장할 수 있습니다. 예를 들어, 로봇 반려동물과의 촉각적 교감을 통해 정서적 안정감을 얻거나, 로봇 마사지사에게 마사지를 받으며 편안함을 느끼는 등의 경험을 제공할 수 있습니다.
촉각 박물관/전시: 촉각을 주제로 한 다양한 전시물과 체험 프로그램을 제공하는 박물관이나 전시가 활발하게 개최될 수 있습니다. 관람객들은 다양한 재질의 오브제를 만져보고, 촉각 관련 예술 작품을 감상하며 촉각에 대한 이해를 넓힐 수 있을 것입니다.
결론적으로, 촉각 기술의 발전은 예술과 문화 콘텐츠 분야에 새로운 가능성을 제시합니다. 촉각 정보를 활용한 새로운 예술 장르의 탄생, 촉각 데이터를 예술적 표현의 도구로 활용, 촉각 중심의 문화 콘텐츠 제작 등을 통해 인간과 로봇, 그리고 예술이 더욱 밀접하게 연결되는 미래를 기대할 수 있습니다.