Effiziente Methode zur Verbesserung von LoRA in datenschutzfreundlichem föderiertem Lernen
Eine effiziente und effektive Version von LoRA, Federated Freeze A LoRA (FFA-LoRA), wird vorgeschlagen, um die Herausforderungen in datenschutzfreundlichem föderiertem Lernen zu bewältigen und die Kommunikationskosten des föderalen Feinabstimmens von LLMs zu halbieren.
Privates Graphen-Neuronales-Netzwerk mit Singulärwert-Perturbation
Eclipse, ein neuer privatsphäre-erhaltender Trainingsalgorithmus für Graph-Neuronale-Netze, erhält eine gute Modellleistung, indem er die Singulärwerte des Graphen anstelle des gesamten Graphen stört.
Dezentralisierte Graph-Neuronale-Netze mit Knoten-Ebenen-Differentieller Privatsphäre
Ein dezentralisierter Ansatz für Graph-Neuronale-Netze, der die Knoten-Ebenen-Differenzielle Privatsphäre durch die Verwendung eines differentiell privaten approximativen personalisierten PageRank-Algorithmus verbessert.
Ein neuartiger, effizienter Deep-Learning-Ansatz für private Inferenz
xMLP, eine neuartige Deep-Learning-Architektur, die ausschließlich quadratische Aktivierungsfunktionen verwendet und dabei die Leistung von herkömmlichen Modellen mit ReLU-Aktivierung erreicht oder übertrifft, ermöglicht eine deutlich effizientere private Inferenz.
Ein neuartiger, effizienter Deep-Learning-Ansatz für private Inferenz mit ausschließlicher quadratischer Aktivierung
xMLP, eine neuartige Deep-Learning-Architektur, eliminiert die Notwendigkeit von ReLU-Aktivierungen und verwendet stattdessen ausschließlich quadratische Funktionen, wodurch eine vergleichbare Leistung bei deutlich schnellerer privater Inferenz erreicht wird.
Ein kostengünstiger und selbstadaptiver Mechanismus für das Schütteln und die Wiederherstellung von Large Language Models
Ein kostengünstiger und selbstadaptiver Mechanismus, der eine vergleichbare Genauigkeit wie datenschutzfreundliche LLM-Methoden unter Verwendung von Kryptographie oder Differentieller Datenschutzverfahren erreicht.
© 2024 by Linnk AI