이미지 복원을 위한 조건부 텍스처 및 구조 이중 생성
깊은 생성 접근법은 구조 선행 정보를 도입함으로써 이미지 복원에서 상당한 진전을 이루었다. 그러나 구조 재구성 과정에서 이미지 텍스처와의 적절한 상호작용이 부족하여, 현재 솔루션은 큰 손상 영역을 처리하는 데 능숙하지 않고 일반적으로 왜곡된 결과를 초래한다. 본 논문에서는 구조 제약 텍스처 합성과 텍스처 유도 구조 재구성을 결합하는 새로운 두 개의 스트림 네트워크를 제안한다. 이를 통해 두 가지 작업이 서로 더 잘 활용되어 더 설득력 있는 생성이 가능해진다.
플러그 앤 플레이 이미지 복원을 위한 확률적 탈노이즈 정규화
확률적 탈노이즈 정규화(SNORE)는 노이즈가 있는 이미지에만 탈노이즈 연산자를 적용하는 새로운 플러그 앤 플레이 프레임워크를 제안한다. 이를 통해 탈노이즈 연산자의 도메인 시프트 문제를 해결하고 우수한 복원 성능을 달성할 수 있다.
사진 현실적 이미지 복원을 위한 모델 확장 기술
본 연구는 생성 사전 지식과 모델 확장 기술을 활용하여 사진 현실적 이미지 복원을 위한 혁신적인 방법인 SUPIR을 소개한다. SUPIR은 텍스트 프롬프트를 통해 이미지 복원을 제어할 수 있는 능력을 갖추고 있어 응용 범위를 크게 확장시켰다.
JPEG 압축 해제를 위한 확산 모델의 적응
확산 모델의 고품질 생성 능력을 활용하여 높은 압축 수준의 JPEG 복원 문제를 해결하는 방법을 제안한다.
고효율 및 확장 가능한 올인원 이미지 복원을 위한 동적 사전 학습
제안된 동적 네트워크(DyNet) 아키텍처는 가중치 공유 메커니즘을 통해 효율성과 유연성을 제공하며, 동적 사전 학습 전략은 GPU 시간을 50% 절감하면서도 성능을 향상시킨다.
실제 보이지 않는 것을 보여주는 주파수 프롬프트 기반 변환기를 통한 이미지 복원
다양한 형태의 이미지 열화는 서로 다른 주파수 대역에 영향을 미치므로, 특정 열화 특성을 식별할 수 있는 주파수 관점의 프롬프트 메커니즘을 개발하여 이미지 복원 모델의 성능을 향상시킬 수 있다.
고품질 이미지 복원을 위한 고주파 정보 주입 트랜스포머
제안된 HIT 모델은 CNN 기반 특징 추출기를 통해 고주파 정보를 캡처하고, 이를 트랜스포머 아키텍처에 주입하여 장거리 의존성과 지역 정보를 모두 효과적으로 활용할 수 있도록 한다.
고속 병렬 샘플링을 통한 딥 평형 확산 복원
확산 모델 기반 이미지 복원 모델에서 긴 순차적 샘플링 체인의 한계를 극복하기 위해 딥 평형 고정점 시스템을 이용한 병렬 샘플링 방법을 제안한다.
실용적이고 효율적인 이미지 복원을 위한 상태 공간 모델 기반 MambaIR 기준선
상태 공간 모델, 특히 개선된 Mamba 모델은 선형 복잡도로 장거리 의존성 모델링에 큰 잠재력을 보여주지만, 로컬 픽셀 망각과 채널 중복성 문제를 겪는다. 이를 해결하기 위해 MambaIR은 로컬 강화와 채널 주의 메커니즘을 도입하여 성능을 크게 향상시킨다.
고효율 이미지 복원 모델을 위한 SAM의 의미론적 사전 지식 증류
본 연구는 SAM의 의미론적 사전 지식을 효율적인 이미지 복원 모델에 증류하는 일반적인 프레임워크를 제안한다. 이를 통해 SAM의 강력한 의미론적 정보를 활용하면서도 기존 이미지 복원 모델의 추론 효율성을 유지할 수 있다.
© 2024 by Linnk AI