Rekonstruktion von Trainingsbildern aus PEFT-Gradienten in CLIP-basierten Systemen

Wir zeigen, dass CLIP-basierte verteilte Lernsysteme, die das Parameter-effiziente Feinabstimmungsverfahren (PEFT) verwenden, anfällig für Rekonstruktionsangriffe sind, bei denen Trainingsbilder aus den hochgeladenen Gradienten wiederhergestellt werden können.