核心概念
SonicSense 是一種基於聲振動感測的新型機器人觸覺感知方法,能夠識別物體材質、重建三維形狀並重新識別物體。
摘要
SonicSense:透過手持式聲振動感測進行物體感知
本研究旨在開發一種名為 SonicSense 的全新機器人觸覺感知系統,透過分析手持物體產生的聲振動訊號,實現對物體材質、形狀和身份的識別。
硬體設計
SonicSense 採用四指機器人手,每個指尖配備一個接觸式麥克風和一個配重,以增強敲擊時的振動效果。
接觸式麥克風以 44,100 Hz 的頻率同步拾取聲振動訊號。
軟體設計
開發了一種基於啟發式的互動策略,使機器人能夠自主地與物體進行交互,並收集聲振動響應數據。
設計了三種端到端學習模型:
材質分類模型:根據敲擊聲音的梅爾頻譜圖預測接觸位置的材質標籤。
形狀重建模型:利用稀疏的接觸點生成物體的完整三維點雲模型。
物體重新識別模型:結合梅爾頻譜圖和接觸點信息,預測物體的標籤。
數據集
創建了一個包含 83 種真實世界物體的數據集,涵蓋九種材質類別,包括具有複雜幾何形狀和異質材質的物體。
為所有物體提供高質量的三維掃描網格和點雲模型,以及點雲上的材質標籤。