Generierte Daten können das kontrastive Lernen manchmal sogar beeinträchtigen. Die Autoren untersuchen die Ursachen aus der Perspektive der Datengenerierung und Datenaugmentierung und schlagen eine adaptive Datengenerierungsstrategie vor, die die Leistung deutlich verbessert.
Lineare Konzeptlöschung kann nicht verhindern, dass nachgelagerte multivariate log-lineare Modelle Informationen über das gelöschte Konzept wiederherstellen können.
Es ist möglich, quantisierte latente Faktoren unter einer generischen nichtlinearen Diffeomorphismus zu rekonstruieren, indem man annimmt, dass die Faktoren unabhängige Unstetigkeiten in ihrer Dichte aufweisen, ohne dass die Faktoren statistisch unabhängig sein müssen.