이 논문은 차별적 프라이버시(DP) 보장 하에서 검색 기반 이미지 생성 모델(DP-RDM)을 제안한다.
DP-RDM은 공개 데이터셋으로 사전 학습된 텍스트-이미지 확산 모델을 활용하여, 개인 데이터셋에서 검색한 이미지 임베딩을 활용해 이미지를 생성한다. 이때 개인 데이터셋에서 검색한 이미지 임베딩에 캘리브레이션된 가우시안 노이즈를 추가하여 DP 보장을 제공한다.
DP-RDM은 개인 데이터셋에 대한 미세 조정 없이도 다양한 도메인의 고품질 이미지를 생성할 수 있다. MS-COCO 데이터셋에서 DP-RDM은 ϵ = 10의 프라이버시 예산으로 최대 10,000개의 이미지를 생성할 수 있으며, 공개 데이터셋만 사용할 때보다 FID 점수가 3.5점 향상되었다.
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Jonathan Leb... alle arxiv.org 03-22-2024
https://arxiv.org/pdf/2403.14421.pdfDomande più approfondite