Die ausdrucksstarke Leistung von Low-Rank-Anpassung

Low-Rank-Anpassung (LoRA), eine parametereffiziente Finetuning-Methode, die eine niedrigrangige Anpassung von Gewichtsmatrizen nutzt, hat sich als eine weit verbreitete Technik zum Finetuning von vortrainierten Modellen wie großen Sprachmodellen und Diffusionsmodellen erwiesen. Diese Arbeit bietet die ersten theoretischen Erkenntnisse zur ausdrucksstarken Leistung von LoRA, indem sie zeigt, dass LoRA jedes Modell genau an ein kleineres Zielmodell anpassen kann, wenn der LoRA-Rang eine bestimmte Schwelle überschreitet.