Core Concepts
LiDAR 강도를 활용하여 이미지에서 알베도와 그림자를 효과적으로 분리하는 무감독 학습 모델을 제안한다.
Abstract
이 논문은 LiDAR 강도를 활용하여 이미지에서 알베도와 그림자를 효과적으로 분리하는 무감독 학습 모델인 LIET(Unsupervised Single-Image Intrinsic Image Decomposition with LiDAR Intensity Enhanced Training)를 제안한다.
기존 모델들은 LiDAR 강도를 추론 과정에서 사용하거나, 이미지만을 사용하여 추론하지만 성능이 제한적이었다. LIET는 훈련 시에만 LiDAR 강도를 사용하고 추론 시에는 이미지만을 사용하여 활용성을 높였다.
LIET는 이미지 인코더 경로와 LiDAR 인코더 경로를 부분적으로 공유하는 모델 구조를 가지고 있다. 이를 통해 LiDAR 강도의 효과적인 활용과 단일 이미지 추론을 달성하였다.
또한 알베도 정렬 손실과 이미지-LiDAR 변환 경로를 제안하여 IID 품질을 향상시켰다. 알베도 정렬 손실은 이미지에서 추론된 알베도와 LiDAR 강도에서 추론된 알베도를 정렬하여 그림자 문제를 해결하였다. 이미지-LiDAR 변환 경로는 이미지와 LiDAR 강도 간의 내용과 스타일을 분리하는데 기여하였다.
실험 결과, LIET는 LiDAR 강도를 사용하는 기존 최고 모델과 유사한 IID 품질을 달성하면서도 단일 이미지만을 사용하여 추론할 수 있었다. 또한 다양한 이미지 품질 평가 지표에서도 가장 우수한 성능을 보였다.
Stats
이미지에서 추론된 알베도와 LiDAR 강도에서 추론된 알베도의 차이는 그림자 문제를 해결하는데 도움이 된다.
LiDAR 강도는 태양광 조건과 그림자의 영향을 받지 않고 물체 표면의 특성을 잘 나타낸다.
Quotes
"LiDAR intensity refers to the strength of light reflected from object surfaces, and is equivalent to albedo in infrared wavelength. Thus, LiDAR intensity is effective for IID tasks."
"LiDAR intensity is unaffected by variations in sunlight conditions or shading while preserving the texture of object surfaces."