핵심 개념
사용자의 행동과 GelSight 이미지를 입력으로 받아 실시간으로 표면 진동 신호를 예측하는 학습 기반 모델을 개발하고 평가하였다.
초록
이 연구는 가상현실 환경에서 사용자가 실제 세계와 같은 촉감 경험을 할 수 있도록 하는 것을 목표로 한다. 구체적으로 사용자가 표면을 터치할 때 발생하는 진동 신호를 실시간으로 렌더링하는 학습 기반 모델을 개발하였다.
모델의 입력은 사용자의 힘과 속도 정보, 그리고 표면의 GelSight 이미지이다. 모델은 이 정보를 바탕으로 진동 가속도 신호의 스펙트럼 크기를 예측한다. 이 예측 결과를 바탕으로 실시간으로 진동 신호를 재구성하여 햅틱 장치에 전달한다.
이 모델은 재질별로 별도의 모델을 학습할 필요가 없이 통합된 모델을 사용할 수 있어 확장성이 높다. 또한 학습에 사용된 재질이 아닌 새로운 재질에 대해서도 GelSight 이미지만으로 렌더링이 가능하다.
사용자 실험을 통해 이 모델이 기존 방식과 비교해 유사하거나 더 나은 수준의 질감 렌더링 성능을 보여줌을 확인하였다. 특히 거친 재질에 대해 우수한 성능을 보였다. 또한 새로운 재질에 대해서도 기존 재질과의 유사도를 통해 적절한 질감을 렌더링할 수 있음을 보였다.
통계
사용자가 3D Systems Touch 장치를 통해 표면을 탐색할 때 발생하는 힘과 속도 정보를 입력으로 사용한다.
GelSight 이미지를 통해 표면의 질감 정보를 입력으로 사용한다.
모델은 이 입력 정보를 바탕으로 진동 가속도 신호의 스펙트럼 크기를 예측한다.
인용구
"Adding realistic haptic textures to VR environments requires a model that generalizes to variations of a user's interaction and to the wide variety of existing textures in the world."
"Our model takes as input data from a high-resolution vision-based tactile sensor GelSight and a user's action (force and speed). The model then predicts an acceleration signal that can be directly commanded to a haptic device after accounting for the feed-forward dynamics of the actuator."
"We show that our model is capable of rendering previously unseen textures using a single GelSight image of their surface."