개방형 어휘 3D 객체 탐지: 도시 환경에서의 Find n' Propagate

Kernekoncepter

본 연구는 LiDAR 기반 3D 객체 탐지 시스템의 제한된 클래스 어휘와 새로운 객체 클래스에 대한 주석 작업의 높은 비용 문제를 해결하기 위해 개방형 어휘 학습을 탐구합니다. 제안하는 Find n' Propagate 접근법은 새로운 객체의 탐지율을 최대화하고 이를 원격 지역으로 점진적으로 전파하여 더 많은 객체를 포착하는 것을 목표로 합니다.

Resumé

본 연구는 LiDAR 기반 3D 객체 탐지 시스템의 제한된 클래스 어휘와 새로운 객체 클래스에 대한 주석 작업의 높은 비용 문제를 해결하기 위해 개방형 어휘 학습을 탐구합니다.

먼저 4가지 기준선 솔루션을 설계하고 벤치마크합니다. 이 솔루션들은 입력 데이터 전략에 따라 상향식 또는 하향식 접근법으로 분류됩니다. 이러한 방법들은 효과적이지만 특정 한계를 보입니다. 예를 들어 새로운 객체의 3D 박스 추정 누락 또는 엄격한 사전 지식 적용으로 인한 편향 등입니다.

이러한 한계를 극복하기 위해 Find n' Propagate 접근법을 제안합니다. 이 방법은 새로운 객체의 탐지율을 최대화하고 이를 원격 지역으로 점진적으로 전파하여 더 많은 객체를 포착하는 것을 목표로 합니다. 구체적으로 Greedy Box Seeker를 사용하여 다양한 방향과 깊이의 3D 새로운 박스를 탐색하고, Greedy Box Oracle을 통해 새로 식별된 박스의 신뢰성을 제어합니다. 또한 Remote Propagator를 도입하여 원격 객체의 기하학적 특성을 모방함으로써 근접 객체에 편향된 제안을 완화합니다.

실험 결과, 제안 방식은 다양한 개방형 어휘 설정, VLM, 3D 탐지기에서 새로운 객체의 탐지율을 53% 향상시켰으며, 새로운 객체 클래스의 평균 정밀도(AP)를 최대 3.97배 증가시켰습니다.

Statistik

새로운 객체 클래스의 평균 정밀도(AP)가 최대 3.97배 증가했습니다.

Citater

없음

Vigtigste indsigter udtrukket fra

Find n' Propagate

by Djamahl Etch... kl. arxiv.org 03-21-2024

https://arxiv.org/pdf/2403.13556.pdf

Dybere Forespørgsler

새로운 객체 클래스에 대한 탐지 성능을 더 향상시킬 수 있는 방법은 무엇일까요?

새로운 객체 클래스에 대한 탐지 성능을 향상시키기 위해서는 다음과 같은 방법을 고려할 수 있습니다:

다양한 데이터 확보: 새로운 객체 클래스에 대한 다양한 데이터를 수집하고 이를 학습에 활용하여 모델의 일반화 능력을 향상시킵니다.
오픈-보캡 (OV) 학습: 오픈-보캡 학습을 통해 새로운 객체 클래스를 인식하고 학습 데이터에 없는 개념을 학습할 수 있습니다.
고품질의 주석 데이터: 새로운 객체 클래스에 대한 고품질의 주석 데이터를 확보하여 모델이 정확하게 학습할 수 있도록 합니다.
모델 아키텍처 개선: 모델의 아키텍처를 개선하여 새로운 객체 클래스를 더 잘 인식하고 탐지할 수 있도록 합니다.