핵심 개념
본 논문에서는 Stable Diffusion과 Large Language Model을 활용하여 사실적이고 다양한 날씨 환경의 자율주행 이미지를 생성하는 WeatherDG를 제안하며, 이를 통해 악천후 조건에서의 의미론적 분할 모델의 일반화 성능을 향상시킵니다.
초록
WeatherDG: 도메인 일반화된 의미론적 분할을 위한 LLM 지원 절차적 날씨 생성
연구 목표
본 연구는 악천후 조건에서 자율주행을 위한 의미론적 분할 모델의 일반화 성능을 향상시키는 것을 목표로 합니다. 특히, 현실적이고 다양한 날씨 환경을 반영하는 합성 데이터를 생성하여 기존 모델의 성능 저하 문제를 해결하고자 합니다.
방법
본 논문에서는 Stable Diffusion (SD)과 Large Language Model (LLM)을 결합한 새로운 데이터 증강 프레임워크인 WeatherDG를 제안합니다.
1. SD 미세 조정
먼저, 소스 도메인 데이터로 SD를 미세 조정하여 생성된 이미지의 내용과 레이아웃을 실제 자율주행 시나리오에 맞춥니다.
2. 절차적 프롬프트 생성
LLM을 기반으로 하는 프롬프트 생성 방법을 사용하여 다양하고 세부적인 이미지를 생성합니다. LLM 에이전트를 활용하여 시나리오 설명(프롬프트)을 점진적으로 풍부하게 만들고, 다양한 날씨 및 조명 효과를 생성합니다. 또한, 균형 잡힌 생성 전략을 통해 악천후 조건에서 드물게 나타나는 객체(예: 오토바이 운전자)를 풍부하게 생성합니다.
3. 샘플 생성 및 모델 학습
미세 조정된 SD와 생성된 프롬프트를 사용하여 새롭고 다양한 샘플을 생성하고, 이를 소스 데이터와 함께 모델 학습에 사용합니다.
주요 결과
본 논문에서 제안하는 WeatherDG는 세 가지 주요 데이터 세트(ACDC, BDD100k, DarkZurich)에서 최첨단 성능을 달성했습니다. 특히, Cityscapes에서 ACDC로의 도메인 일반화 설정에서 WeatherDG는 기준 모델인 HRDA보다 mIoU가 13.9% 향상되었습니다.
결론
WeatherDG는 LLM과 SD를 결합하여 사실적이고 다양한 날씨 환경의 자율주행 이미지를 생성하는 효과적인 방법입니다. 본 연구는 악천후 조건에서 자율주행 시스템의 안전성과 신뢰성을 향상시키는 데 기여할 수 있습니다.
통계
Cityscapes에서 ACDC로의 도메인 일반화 설정에서 WeatherDG는 기준 모델인 HRDA보다 mIoU가 13.9% 향상되었습니다.
ResNet-50 인코더를 사용하는 모델의 경우, WeatherDG는 가장 높은 평균 mIoU 점수를 기록하며 최첨단 방법을 능가했습니다.
MiT-B5 백본을 사용하는 경우, WeatherDG는 ACDC 및 DarkZurich 데이터 세트에서 두 번째로 우수한 모델인 MIC보다 mIoU 성능이 10% 이상, BDD100K 데이터 세트에서 4.3% 더 높은 성능을 달성했습니다.
야간 장면에서의 성능은 다른 시나리오에 비해 현저히 낮은 40%를 넘지 못했습니다.
인용구
"This segmentation-model-agnostic method can improve the generalization ability of existing models by additionally adapting them with the generated synthetic data."
"Experiments on three challenging datasets show that our method can significantly improve the segmentation performance of different state-of-the-art models on target domains."
"Notably, in the setting of ”Cityscapes to ACDC”, our method improves the baseline HRDA by 13.9% in mIoU."