基於多攝像頭串流視覺Transformer的實時車輛防撞系統：V-CAS

Core Concepts

本文提出了一種基於視覺Transformer的實時車輛防撞系統V-CAS，該系統利用多攝像頭串流進行環境感知，並通過自適應煞車機制主動降低碰撞風險。

Abstract

V-CAS：基於多攝像頭串流視覺Transformer的實時車輛防撞系統

研究目標：

本研究旨在開發一種強健、實時的車輛防撞系統（V-CAS），利用先進的視覺Transformer模型和多攝像頭數據融合，增強車輛安全。

方法：

V-CAS 整合了多項技術，包含：

• **目標檢測：**採用基於視覺Transformer的實時目標檢測模型 RT-DETR，該模型已針對車輛、行人等目標進行微調。
• **目標追蹤：**使用 DeepSORT 追蹤算法，結合深度學習特徵提取和卡爾曼濾波預測，實現可靠的目標追蹤。
• **速度估計：**根據目標在連續幀中的位置變化計算歐式距離，並轉換為實際速度。
• **煞車燈檢測：**訓練一個自定義模型來檢測前方車輛的煞車燈狀態，作為碰撞預測的額外依據。
• **多攝像頭融合：**利用三個攝像頭捕捉更廣闊的視野，並透過 OpenCV 和多線程技術實現實時串流融合。
• **碰撞風險評估：**根據目標的相對加速度、距離和煞車動作計算綜合碰撞風險評分。
• **自適應煞車：**當碰撞風險評分超過預設閾值時，系統透過 Jetson Orin Nano 的擴展接口發送煞車信號，啟動自適應煞車機制。

主要發現：

• V-CAS 在 Car Crash Dataset (CCD) 和實際道路測試中均展現出優異的性能，準確率超過 98%，平均預警時間為 1.13 秒。
• 相較於傳統的單攝像頭方法，多攝像頭系統能提供更全面的場景感知，顯著提升目標檢測和追蹤的準確性，進而增強碰撞預防能力。

主要結論：

• 基於低成本、多攝像頭和嵌入式視覺Transformer的系統，具備透過增強環境感知和主動碰撞預防機制來提升汽車安全的巨大潛力。

意義：

本研究為開發經濟高效且可靠的車輛防撞系統提供了新的思路，有助於減少交通事故發生率，提升道路安全。

局限與未來研究方向：

• 目前缺乏公開的多攝像頭交通數據集，未來可建立更豐富的數據集以進行更全面的評估。
• 可進一步研究模型壓縮技術，在不影響準確性的前提下提升系統在嵌入式平台上的運行效率。
• 未來可整合其他傳感器數據，例如雷達、LiDAR 等，以進一步提升系統在惡劣天氣和光照條件下的魯棒性。

Stats

系統在 Car Crash Dataset (CCD) 上的準確率超過 98%。
系統的平均預警時間為 1.13 秒。
整套 V-CAS 解決方案的成本約為 1200 至 1500 美元。
系統在嵌入式系統上的運行速度超過每秒 15 幀。
日間場景的準確率為 98.12%。
夜間場景的準確率為 90.87%。

Quotes

"研究表明，大約 77% 的交通事故是由駕駛員造成的 [1]。"
"特斯拉的全自動駕駛 (FSD) 軟件完全依賴於攝像頭，放棄了雷達和激光雷達 [17]。"

Key Insights Distilled From

V-CAS: A Realtime Vehicle Anti Collision System Using Vision Transformer on Multi-Camera Streams

by Muhammad Waq... at arxiv.org 11-05-2024

https://arxiv.org/pdf/2411.01963.pdf

Deeper Inquiries

V-CAS 如何應對惡劣天氣條件（如雨、雪、霧）帶來的挑戰？

V-CAS 在惡劣天氣條件下會面臨以下挑戰：

影像品質下降： 雨、雪、霧會降低攝影機影像的清晰度，影響物件偵測和追蹤的準確性。
光線變化： 惡劣天氣通常伴隨光線不足或反光問題，進一步影響影像品質。
感測器效能受限： 雨雪可能會遮蔽攝影機鏡頭，而霧會影響攝影機的感光元件，降低系統效能。
論文中提到，V-CAS 整合了煞車燈偵測模組，試圖減輕夜間和惡劣天氣條件下物件偵測效能下降帶來的影響。然而，論文沒有詳細說明如何應對其他挑戰。
為了提升 V-CAS 在惡劣天氣下的可靠性，可以考慮以下改進方向：

採用更先進的影像處理技術： 例如去雨、去霧、低光增強等演算法，提升影像品質。
整合其他感測器資訊： 例如毫米波雷達、激光雷達等，彌補攝影機在惡劣天氣下的不足。
開發更強大的物件偵測和追蹤演算法： 提升模型在低品質影像下的辨識能力。
建立惡劣天氣條件下的數據集： 使用這些數據集訓練和評估模型，提升系統在真實場景中的表現。

若系統出現誤判導致意外煞車，是否會造成更大的安全隱患？

是的，系統誤判導致的意外煞車的確可能造成更大的安全隱患。

後方追撞： 若 V-CAS 誤判而緊急煞車，後方車輛可能來不及反應而發生追撞。
車輛失控： 在高速行駛或路面濕滑的情況下，意外煞車可能導致車輛失控。
駕駛誤判： 頻繁的誤判會降低駕駛對系統的信任度，導致駕駛在真正需要緊急煞車時猶豫不決。
為降低誤判帶來的安全隱患，可以採取以下措施：

提升系統的準確性和可靠性： 這是最重要的方面，需要不斷優化演算法、提升硬體性能、進行更全面的測試和驗證。
設定合理的警報和介入策略： 例如，在系統確信度不高時，先發出警報提醒駕駛，而不是直接介入煞車。
與其他主動安全系統協同工作： 例如，與車身穩定系統、自動緊急煞車系統等配合，降低意外煞車帶來的風險。

隨著自動駕駛技術的發展，V-CAS 等主動安全系統是否會變得多餘？

不會，V-CAS 等主動安全系統不會因為自動駕駛技術的發展而變得多餘，反而會繼續扮演重要角色。

自動駕駛的發展需要時間： 實現完全自動駕駛還需要克服許多技術和法律法規上的挑戰，在可預見的未來，人類駕駛和自動駕駛將長期共存。
自動駕駛系統並非完美無缺： 即使是高度自動駕駛的車輛，也可能出現感測器故障、演算法誤判等問題，需要主動安全系統作為保障。
主動安全系統可以提升自動駕駛的安全性： 主動安全系統可以作為自動駕駛系統的冗餘備份，在自動駕駛系統失效時介入，防止事故發生。
未來，V-CAS 等主動安全系統將與自動駕駛技術深度融合，共同提升車輛的安全性能。例如，主動安全系統可以為自動駕駛系統提供環境感知資訊，而自動駕駛系統可以根據主動安全系統的判斷，更精準地控制車輛。