Core Concepts
실사 합성 이미지에 삽입된 전경 객체에 대한 사실적인 그림자를 생성하는 것이 핵심 목표이다. 이를 위해 대규모 데이터셋과 확산 모델을 활용하여 그림자의 모양과 강도를 정확하게 생성한다.
Abstract
이 논문은 실사 합성 이미지에 삽입된 전경 객체에 대한 사실적인 그림자를 생성하는 방법을 제안한다. 기존 방법들은 렌더링 기반 또는 비렌더링 기반 접근법을 사용했지만, 데이터 부족과 작업의 복잡성으로 인해 그림자의 모양과 강도를 정확하게 생성하는 데 어려움을 겪었다.
이 논문에서는 확산 모델을 활용하여 그림자 생성 작업을 수행한다. 먼저 ControlNet을 해당 작업에 맞게 수정하고, 그림자 강도를 개선하기 위한 강도 조절 모듈을 제안한다. 또한 기존 DESOBA 데이터셋을 확장하여 DESOBAv2 데이터셋을 구축한다. 실험 결과, 제안 모델이 그림자의 모양과 강도를 더 정확하게 생성할 수 있음을 보여준다.
Stats
실사 합성 이미지에서 전경 객체와 배경 객체의 그림자 강도 차이가 크면 전체 이미지의 사실감이 떨어진다.
제안 모델은 배경 그림자 정보를 활용하여 전경 그림자의 강도를 효과적으로 조절할 수 있다.
Quotes
"실사 합성 이미지에서 삽입된 전경 객체에 대한 사실적인 그림자 생성은 여전히 어려운 과제이다."
"기존 방법들은 데이터 부족과 작업의 복잡성으로 인해 그림자의 모양과 강도를 정확하게 생성하는 데 어려움을 겪었다."