이 논문은 자율주행 차량의 시각 인식 성능 향상을 위한 방법을 제안한다. 실제 환경에서 발생하는 안개, 저조도, 모션 블러 등의 열악한 조건으로 인해 이미지 품질이 저하되고 이는 자율주행 안전에 큰 위협이 된다. 기존 최첨단 시각 모델들도 이러한 열화된 이미지에 적용하면 특징 내용 손실과 인공물 간섭으로 인해 성능이 저하된다.
이를 해결하기 위해 저자들은 딥 채널 사전(Deep Channel Prior, DCP)이라는 새로운 개념을 제안한다. 이는 깊은 표현 공간에서 동일한 열화 유형의 특징들은 내용과 의미가 다르더라도 채널 상관관계가 균일한 분포를 가진다는 관찰에 기반한다. 이를 활용하여 저자들은 두 단계로 구성된 비지도 특징 향상 모듈(UFEM)을 제안한다.
첫 번째 단계에서는 다중 적대 기제를 도입한 이중 학습 구조를 통해 잠재적인 내용을 복원하고 인공물을 제거한다. 두 번째 단계에서는 DCP를 활용하여 생성된 특징의 채널 상관관계를 조절함으로써 고품질의 인식 친화적인 특징을 얻는다.
최종적으로 UFEM은 기존 모델에 플러그인 방식으로 삽입되어 실제 열악한 환경에서의 성능을 향상시킨다. 8개의 벤치마크 데이터셋에 대한 평가 결과, 제안 방법이 이미지 분류, 객체 탐지, 의미 분할 등 다양한 태스크에서 기존 모델의 성능을 크게 향상시킬 수 있음을 보여준다.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Zhanwen Liu,... a las arxiv.org 04-03-2024
https://arxiv.org/pdf/2404.01703.pdfConsultas más profundas