이 논문은 차별적 프라이버시(DP) 보장 하에서 검색 기반 이미지 생성 모델(DP-RDM)을 제안한다.
DP-RDM은 공개 데이터셋으로 사전 학습된 텍스트-이미지 확산 모델을 활용하여, 개인 데이터셋에서 검색한 이미지 임베딩을 활용해 이미지를 생성한다. 이때 개인 데이터셋에서 검색한 이미지 임베딩에 캘리브레이션된 가우시안 노이즈를 추가하여 DP 보장을 제공한다.
DP-RDM은 개인 데이터셋에 대한 미세 조정 없이도 다양한 도메인의 고품질 이미지를 생성할 수 있다. MS-COCO 데이터셋에서 DP-RDM은 ϵ = 10의 프라이버시 예산으로 최대 10,000개의 이미지를 생성할 수 있으며, 공개 데이터셋만 사용할 때보다 FID 점수가 3.5점 향상되었다.
Sang ngôn ngữ khác
từ nội dung nguồn
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Jonathan Leb... lúc arxiv.org 03-22-2024
https://arxiv.org/pdf/2403.14421.pdfYêu cầu sâu hơn