이 연구는 사전 학습된 이미지 생성 모델(GAN, VAE)에서 특정 특징을 제거하는 문제를 다룬다. 타깃 특징이 이미지의 국소 영역에만 존재하므로, 전체 이미지를 제거하면 나머지 영역의 세부 정보가 손실될 수 있다. 따라서 저자들은 타깃 특징을 나타내는 잠재 표현을 식별하고 이를 활용하여 사전 학습된 모델을 미세 조정함으로써 타깃 특징을 제거하는 방법을 제안한다.
구체적으로, 저자들은 먼저 타깃 특징을 포함하는 이미지와 그렇지 않은 이미지를 수집한다. 그리고 이 두 데이터셋의 잠재 벡터 평균 차이를 계산하여 타깃 특징을 나타내는 벡터를 식별한다. 이 벡터를 활용하여 랜덤하게 생성된 잠재 벡터가 타깃 특징을 포함하는지 여부를 판단한다. 타깃 특징이 포함된 경우 원래 모델의 출력을 타깃 특징이 제거된 출력으로 변환하도록 모델을 미세 조정한다.
실험 결과, 제안 방법은 MNIST, CelebA, FFHQ 데이터셋에서 타깃 특징을 효과적으로 제거하면서도 원래 모델의 이미지 품질을 유지할 수 있음을 보여준다. 또한 적대적 공격에 대한 실험에서도 제안 방법이 원래 모델보다 더 강건함을 확인할 수 있다.
Egy másik nyelvre
a forrásanyagból
arxiv.org
Mélyebb kérdések