Основные понятия
계층적 표현과 점진적 집계를 활용하여 HDR 이미지 생성의 효과성과 효율성을 동시에 달성하는 PASTA 프레임워크를 제안한다.
Аннотация
본 연구는 HDR 이미지 생성을 위한 새로운 PASTA 프레임워크를 제안한다. PASTA는 계층적 표현과 점진적 집계 기법을 활용하여 HDR 이미지 생성의 효과성과 효율성을 동시에 달성한다.
먼저, PASTA는 이미지 간 시간적 주의 집중 모듈(IFTA)을 통해 프레임 간 정렬을 수행한다. 이후 이산 웨이블릿 변환(DWT)을 활용한 계층적 표현을 구축하고, 점진적 집계 전략을 통해 다양한 해상도의 특징을 효과적으로 융합한다. 이를 통해 PASTA는 큰 움직임과 가려짐이 있는 복잡한 장면에서도 우수한 성능을 달성할 수 있다.
실험 결과, PASTA는 기존 최신 기법들을 능가하는 시각적 품질과 성능 지표를 보여주며, 특히 고해상도 이미지에서 3배 이상의 빠른 추론 속도를 달성한다. 또한 초경량 버전인 PASTA-Tiny는 추론 속도를 9배 향상시키면서도 경쟁력 있는 성능을 유지한다.
Статистика
제안 모델 PASTA-I는 기존 최신 모델 CA-ViT 대비 Kalantari et al. 데이터셋에서 PSNR-l/PSNR-μ 지표에서 각각 0.32dB/0.26dB 향상되었다.
PASTA-I는 Tel et al. 데이터셋에서 모든 지표에서 최고 성능을 달성했다.
PASTA-I는 1000x1500 해상도 입력에서 GPU 메모리 사용량이 CA-ViT 대비 74%, SCTNet 대비 80%이며, 추론 속도는 SCTNet 대비 2.8배, CA-ViT 대비 2배 빠르다.
PASTA-I-Tiny는 2K 해상도 입력에서 GPU 메모리 사용량이 14.4GB, 추론 속도가 2.071초로 기존 최신 모델 대비 크게 향상되었다.
Цитаты
"계층적 표현은 HDR 이미지 생성을 위한 자연스러운 솔루션이 될 수 있다. 이 표현은 다양한 수준의 정보를 내재하고 있어 강건한 후보가 될 수 있다."
"점진적 집계 전략은 미세한 세부 정보와 전체 맥락을 모두 포착하여 계층적 표현을 종합적으로 활용할 수 있다."