Concetti Chiave
Das VIM-Framework ermöglicht eine effiziente und datenschutzfreundliche vertikale föderierte Maschinenlernen-Optimierung, indem es die separate Beiträge der Kunden berücksichtigt und eine iterative Lösung der Teilprobleme durch den Server und die Kunden ermöglicht.
Sintesi
Der Artikel stellt ein neues Rahmenwerk für vertikales föderiertes Maschinelles Lernen (VFL) vor, das als VIM (Vertikales Lernen mit mehreren Köpfen) bezeichnet wird. VIM berücksichtigt die individuellen Beiträge der Kunden und ermöglicht eine effiziente Zerlegung des VFL-Optimierungsziels in Teilziele, die vom Server und den Kunden iterativ gelöst werden können.
Insbesondere wird ein auf der Alternating Direction Method of Multipliers (ADMM) basierendes Verfahren, VIMADMM, vorgeschlagen, das es den Kunden ermöglicht, mehrere lokale Aktualisierungen vor der Kommunikation durchzuführen. Dies reduziert die Kommunikationskosten und führt zu einer besseren Leistung unter Differentieller Privatsphäre (DP).
Für beide Einstellungen, mit und ohne Modellaufteilung, wird gezeigt, dass die ADMM-basierten Algorithmen unter VIM schneller konvergieren, eine höhere Genauigkeit erreichen und eine höhere Nützlichkeit unter kunden-basierter DP und Label-DP beibehalten. Darüber hinaus ermöglicht VIM Funktionalitäten wie kunden-basierte Erklärung und Kunden-Denoising.
Statistiche
Die Anzahl der Kommunikationsrunden bis zur Konvergenz ist bei VIMADMM deutlich geringer als bei den Baseline-Methoden.
VIMADMM erreicht auf allen Datensätzen eine höhere Testgenauigkeit als die Baseline-Methoden.
Citazioni
"VIM nimmt die individuelle Beiträge der Kunden in Betracht und ermöglicht eine effiziente Zerlegung des VFL-Optimierungsziels in Teilziele, die vom Server und den Kunden iterativ gelöst werden können."
"VIMADMM reduziert die Kommunikationskosten und führt zu einer besseren Leistung unter Differentieller Privatsphäre (DP)."