이 연구는 가상현실 환경에서 사용자가 실제 세계와 같은 촉감 경험을 할 수 있도록 하는 것을 목표로 한다. 구체적으로 사용자가 표면을 터치할 때 발생하는 진동 신호를 실시간으로 렌더링하는 학습 기반 모델을 개발하였다.
모델의 입력은 사용자의 힘과 속도 정보, 그리고 표면의 GelSight 이미지이다. 모델은 이 정보를 바탕으로 진동 가속도 신호의 스펙트럼 크기를 예측한다. 이 예측 결과를 바탕으로 실시간으로 진동 신호를 재구성하여 햅틱 장치에 전달한다.
이 모델은 재질별로 별도의 모델을 학습할 필요가 없이 통합된 모델을 사용할 수 있어 확장성이 높다. 또한 학습에 사용된 재질이 아닌 새로운 재질에 대해서도 GelSight 이미지만으로 렌더링이 가능하다.
사용자 실험을 통해 이 모델이 기존 방식과 비교해 유사하거나 더 나은 수준의 질감 렌더링 성능을 보여줌을 확인하였다. 특히 거친 재질에 대해 우수한 성능을 보였다. 또한 새로운 재질에 대해서도 기존 재질과의 유사도를 통해 적절한 질감을 렌더링할 수 있음을 보였다.
To Another Language
from source content
arxiv.org
ข้อมูลเชิงลึกที่สำคัญจาก
by Negin Heravi... ที่ arxiv.org 03-26-2024
https://arxiv.org/pdf/2212.13332.pdfสอบถามเพิ่มเติม