LoRA-SP: Eine effiziente Methode zur teilweisen Parameteranpassung für das ressourcenschonende Fine-Tuning großer Sprachmodelle

LoRA-SP ist eine neuartige Methode, die eine zufällige Halbierung der anzupassenden Parameter innerhalb des Low-Rank Adaptation (LoRA) Frameworks nutzt, um den Rechenaufwand und den Speicherbedarf beim Fine-Tuning großer Sprachmodelle erheblich zu reduzieren, ohne die Modellleistung zu beeinträchtigen.