核心概念
DeS3는 적응형 주의력과 ViT 유사성을 사용하여 단일 이미지에서 강한 그림자, 연한 그림자 및 자기 그림자를 효과적으로 제거할 수 있습니다.
要約
DeS3는 단일 이미지에서 강한 그림자, 연한 그림자 및 자기 그림자를 제거하는 방법입니다. 기존 방법들은 그림자 마스크에 의존하지만, DeS3는 마스크 없이도 효과적으로 그림자를 제거할 수 있습니다.
DeS3의 핵심 아이디어는 다음과 같습니다:
- 확산 기반 생성 모델을 사용하여 점진적으로 그림자를 제거합니다.
- 적응형 주의력 메커니즘을 통해 강한 그림자, 연한 그림자 및 자기 그림자 영역을 효과적으로 구분할 수 있습니다.
- ViT 유사성 손실 함수를 사용하여 역 샘플링 과정에서 물체 구조 정보를 보존할 수 있습니다.
DeS3는 SRD, AISTD, LRSS, USR 및 UIUC 데이터셋에서 우수한 성능을 보였습니다. 특히 LRSS 데이터셋에서 SOTA 방법 대비 RMSE 오차를 16% 개선하였습니다.
統計
그림자 영역의 RMSE는 5.88로 기존 방법 대비 개선되었습니다.
비그림자 영역의 RMSE는 2.83으로 기존 방법 대비 개선되었습니다.
전체 영역의 RMSE는 3.72로 기존 방법 대비 개선되었습니다.
引用
"DeS3는 적응형 주의력과 ViT 유사성을 사용하여 단일 이미지에서 강한 그림자, 연한 그림자 및 자기 그림자를 효과적으로 제거할 수 있습니다."
"DeS3는 마스크 없이도 효과적으로 그림자를 제거할 수 있습니다."