본 연구는 운전 안전 중요 사건(SCE)을 정확하게 식별, 이해 및 설명하기 위해 감독 학습과 대조 학습을 결합한 하이브리드 접근법인 ScVLM을 제안합니다.
먼저, 감독 학습 기반 모델을 사용하여 충돌, 타이어 스트라이크, 근접 충돌 및 일반 주행 등 4가지 이벤트 유형을 분류합니다. 다음으로, 대조 학습 기반 모델을 사용하여 16가지 충돌 유형을 식별합니다. 마지막으로, 비전-언어 모델(VLM)을 활용하여 환경 정보, 이벤트 유형 및 충돌 유형을 종합적으로 고려하여 SCE에 대한 설명을 생성합니다.
제안된 접근법은 미국 교통부 전략 고속도로 연구 프로그램 2(SHRP 2) 자연 주행 데이터 세트를 사용하여 평가되었습니다. 이 데이터 세트는 현재 공개된 가장 큰 자연 주행 데이터 세트로, 8,600개 이상의 SCE와 관련 주석이 포함되어 있습니다. 실험 결과, 제안된 ScVLM 접근법이 기존 VLM 대비 상황에 맞는 사건 설명을 생성하고 환각을 완화하는 데 효과적임을 보여줍니다.
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문