基於室內環境視覺的聽覺噪音感知導航系統 (ANAVI)

核心概念

本文提出了一種名為 ANAVI 的框架，使機器人能夠預測其動作在室內環境中產生的噪音等級，並據此規劃更安靜的移動路徑，以減少對人類和其他聽者的干擾。

摘要

ANAVI：基於室內環境視覺的聽覺噪音感知導航系統

研究目標：

本研究旨在開發一種讓機器人能夠感知其動作所產生噪音的系統，並根據環境噪音限制調整其行為，以實現更安靜的室內導航。

方法：

• 利用 Matterport3D 資料集中的真實室內環境掃描數據，在 SoundSpaces 模擬器中生成機器人在不同位置和方向上產生聲音的脈衝響應數據集。
• 訓練一個名為「聲學噪音預測器」(ANP) 的模型，該模型使用機器人位置的全景 RGB 圖像、聽者相對於機器人的距離和方向，預測聽者位置的聲壓級 (dB SPL)。
• 將 ANP 模型整合到機器人導航框架中，使其能夠估計不同路徑的噪音成本，並規劃出噪音更低的路徑。

主要發現：

• 相比僅基於距離的啟發式方法和學習基線模型，結合視覺特徵的 ANP 模型在預測聲學噪音方面表現更出色。
• ANP 模型能夠準確預測不同室內環境（如開放空間、走廊和房間）中的聲學噪音變化。
• 在真實世界的實驗中，ANAVI 框架成功地引導機器人選擇噪音更低的移動路徑，證明了其在實際應用中的潛力。

主要結論：

• 結合視覺感知的聲學噪音預測模型可以有效地預測機器人在室內環境中產生的噪音等級。
• ANAVI 框架提供了一種實用的解決方案，使機器人能夠在執行任務時，將噪音對環境的影響降至最低。

意義：

本研究對於開發更適應人類環境的機器人具有重要意義，尤其是在需要安靜環境的家庭、醫院和辦公室等場景中。

局限性和未來研究方向：

• 目前的 ANP 模型尚未考慮環境噪音的影響，例如電視或其他聲源的噪音。
• 未來研究可以探索更精確的噪音感知指標，例如考慮聲音頻率、持續時間和心理聲學因素。
• 未來工作可以進一步優化 ANAVI 框架，使其能夠在更複雜的室內環境中運行，並處理動態變化的噪音條件。

統計資料

機器人吸塵器的噪音可能高達 70 分貝。
在模擬實驗中，每個地圖採樣 5,000 個數據點，驗證和測試集則為每個地圖 500 個數據點。
ϵ-精確度計算中，ϵ 值設定為 1/128，約等於 0.007，用於評估模型在 1 分貝以內的預測準確度。
人類的最小可覺差 (JND) 在 1000-5000 Hz 頻率範圍內約為 1 分貝。
真實世界實驗中，使用筆記本電腦播放機器人動作的錄音，並使用手機拍攝全景圖像、測量距離和錄製聲音。
在臥室環境中，距離聲源 0.5 米處測得的 Stretch 機器人快速前進的聲音為 52 分貝，而 Unitree Go2 機器人奔跑的聲音為 70 分貝。

引述

"While humans are naturally aware of the noise they make and its impact on those around them, robots currently lack this awareness."
"A key challenge in achieving audio awareness for robots is estimating how loud will the robot’s actions be at a listener’s location?"
"Although sound is inevitable with robot movement, it can be mitigated."

從以下內容提煉的關鍵洞見

ANAVI: Audio Noise Awareness using Visuals of Indoor environments for NAVIgation

by Vidhi Jain, ... 於 arxiv.org 10-25-2024

https://arxiv.org/pdf/2410.18932.pdf

深入探究

在多人環境中，機器人如何同時考慮多個聽者的噪音敏感度，並規劃出滿足所有人的最佳路徑？

在多人環境中，機器人可以透過以下步驟來規劃滿足所有聽者的最佳路徑：

識別聽者及其位置： 機器人需要先識別環境中所有聽者的位置。這可以透過機器人自身的感測器（如攝影機、麥克風）或外部資訊（如室內定位系統）來達成。
評估聽者噪音敏感度： 每個聽者對噪音的敏感度可能不同，例如，戴著耳機的人對噪音的敏感度較低。機器人可以透過以下方式評估聽者的噪音敏感度：

預設值： 根據環境和活動設定預設的噪音敏感度，例如，在臥室和會議室設定較高的敏感度。
使用者設定： 允許使用者自行設定對噪音的敏感度。
情境感知： 根據聽者的行為和環境線索推斷其敏感度，例如，正在睡覺的人敏感度較高。

建立噪音成本地圖： 根據 ANP 模型的預測結果，機器人可以建立一個噪音成本地圖，地圖上的每個位置都代表機器人在該位置產生噪音對所有聽者造成的總成本。
規劃最佳路徑： 機器人可以使用路徑規劃演算法（如 A* 演算法），並將噪音成本地圖納入考量，找到一條噪音成本最低的路徑。

ANAVI 框架中提到的「Time vs. Audio Noise Tradeoff」概念可以在此發揮作用，機器人可以根據噪音成本和時間成本的權重，在滿足所有聽者噪音需求的前提下，找到一條時間成本可接受的路徑。

除了調整機器人的移動路徑和速度，還有哪些方法可以降低機器人產生的噪音，例如使用吸音材料或設計更安靜的馬達？

除了調整機器人的移動路徑和速度，還有許多方法可以降低機器人產生的噪音：

機械設計方面：

使用更安靜的馬達： 例如，使用無刷馬達或步進馬達，它們比傳統的有刷馬達噪音更低。
優化傳動系統： 例如，使用皮帶傳動或諧波減速器，它們比齒輪傳動噪音更低。
改善結構設計： 減少機器人結構的振動和共振，例如，使用阻尼材料或優化結構的剛性。

材料方面：

使用吸音材料： 在機器人外殼內部使用吸音材料，例如，泡沫、毛氈或吸音棉，可以有效吸收機器人內部產生的噪音。
使用低噪音材料： 在機器人外殼和部件上使用低噪音材料，例如，使用軟性材料代替硬性材料，可以減少碰撞和摩擦產生的噪音。

控制方面：

優化運動控制： 使用更平滑的運動控制演算法，減少機器人運動過程中的加速度和衝擊，從而降低噪音。
主動噪音消除： 使用主動噪音消除技術，發出與機器人噪音相反的聲波，抵消噪音。

其他方面：

定期維護： 定期清潔和潤滑機器人的運動部件，可以減少摩擦和噪音。
選擇合適的操作時間： 在噪音敏感度較低的時段操作機器人，例如，避免在深夜或清晨操作。

如果將 ANAVI 框架應用於其他類型的機器人，例如無人機或機械手臂，會面臨哪些新的挑戰和機遇？

將 ANAVI 框架應用於無人機或機械手臂等其他類型的機器人，會面臨新的挑戰和機遇：
挑戰：

噪音源不同： 無人機和機械手臂的噪音源與輪式機器人不同，例如，無人機的主要噪音源是螺旋槳旋轉產生的噪音，而機械手臂的噪音源主要是馬達和關節運轉產生的噪音。這需要針對不同的噪音源開發相應的 ANP 模型。
環境感知不同： 無人機需要感知三維空間的環境資訊，而機械手臂則需要感知更精確的空間資訊，例如，物體的形狀、材質和位置。這需要開發更精確的環境感知系統，以便 ANP 模型能夠準確預測噪音傳播。
運動控制不同： 無人機和機械手臂的運動控制比輪式機器人更複雜，需要考慮更多的自由度和運動約束。這需要開發更複雜的運動規劃演算法，以便在降低噪音的同時，保證機器人完成任務。
機遇：

應用場景更廣泛： 無人機和機械手臂的應用場景比輪式機器人更廣泛，例如，無人機可以用於航拍、物流和巡檢，而機械手臂可以用於製造、醫療和服務等領域。這意味著 ANAVI 框架具有更廣闊的應用前景。
促進人機共融： 無人機和機械手臂在與人類共享的環境中工作時，降低噪音至關重要。ANAVI 框架可以幫助這些機器人更安全、更和諧地與人類共存。
推動新技術發展： 將 ANAVI 框架應用於新的機器人平台，將推動噪音預測、環境感知和運動規劃等相關技術的發展。
總之，將 ANAVI 框架應用於其他類型的機器人，既面臨著挑戰，也充滿了機遇。相信隨著技術的進步，ANAVI 框架將在更多領域發揮重要作用，創造一個更加安靜和諧的人機共融環境。