Effizientes und einheitliches Finetuning von über 100 Sprachmodellen mit LLAMAFACTORY
LLAMAFACTORY ist ein einheitlicher Rahmen, der eine Reihe von hochmodernen effizienten Trainingsmethoden integriert, um die Anpassung großer Sprachmodelle an verschiedene Aufgaben zu erleichtern.
Wettbewerbslösung für die Optimierung von Datenmischungen für Großsprachmodelle
Eine effiziente Methode zur Analyse und Kombination von Feinabstimmungsdaten für Großsprachmodelle, die eine hohe Qualität und Diversität der Daten gewährleistet.
Automatisierte Datenkuration zur robusten Feinabstimmung von Sprachmodellen
Eine automatisierte Datenkurationspipeline namens CLEAR kann die Leistung von Sprachmodellen durch Filterung und Korrektur von Trainingsdaten deutlich verbessern, ohne dass zusätzliche Feinabstimmungsberechnungen erforderlich sind.
Effiziente Methode zum Lernen bei Datenunsicherheit für die Erkennung benannter Entitäten
Eine einfache und effektive Lernmethode namens "Majority or Minority" (MoM) Learning, die den Verlust, der nur für Proben berechnet wird, deren Grundwahrheit die Mehrheitsklasse ist, in den Verlust des herkömmlichen ML-Modells einbezieht, um die Vorhersageleistung der Minderheitsklassen zu verbessern, ohne die Leistung der Mehrheitsklasse zu beeinträchtigen.
Effiziente Verarbeitung und Analyse von gemischten Daten zur Verbesserung von Open-Source-Sprachmodellen
Ein neuartiges Framework namens OpenChat, das eine Methode namens Conditioned-RLFT verwendet, um Open-Source-Sprachmodelle mit gemischter Datenqualität effizient zu verbessern.
Effiziente Quantisierung großer Sprachmodelle durch omnidirektionale Kalibrierung
OmniQuant ist eine differenzierbare Quantisierungstechnik für große Sprachmodelle, die eine überlegene Leistung in verschiedenen Quantisierungskonfigurationen bei gleichzeitiger Beibehaltung der Effizienz von Post-Training-Quantisierung (PTQ) erreicht.
Ein Ansatz zum Verständnis der Beziehung zwischen kontextbasiertem Lernen und kompositioneller Generalisierung
Kontextbasiertes Lernen kann als induktiver Bias dienen, um die kompositionelle Generalisierung neuronaler Sprachmodelle zu verbessern.
Neuronale Feinabstimmung auf Ebene der Neuronen: Eine effiziente Methode zur Verbesserung der Leistung von Großsprachmodellen
Durch die gezielte Anpassung einzelner Neuronen innerhalb von Großsprachmodellen kann deren Leistung auf spezifischen Aufgaben deutlich verbessert werden, ohne die Gesamtarchitektur stark zu verändern.
Effiziente und robuste Vorverarbeitung für wissensbasierte Sprachmodelle
TRELM, ein robuster und effizienter Vorverarbeitungsrahmen für wissensbasierte Sprachmodelle, nutzt eine wissensangereicherte Speicherbank und dynamisches Wissensrouting, um die Leistung und Effizienz von Sprachmodellen zu verbessern.
Geschlechtsspezifische Verzerrungen in Sprachmodellen und deren Behebung durch gezielte Anpassung der Modellgewichte
Dieser Artikel stellt eine neuartige Methode zur Erkennung und Verringerung von Geschlechtsvorurteilen in Sprachmodellen vor. Durch eine kausale Analyse werden die Modellkomponenten identifiziert, die am anfälligsten für die Übertragung von Vorurteilen sind. Basierend auf diesen Erkenntnissen wird das Modell durch gezielte Anpassung der Gewichte in diesen Komponenten entzerrt, ohne die Leistung in Downstream-Aufgaben wesentlich zu beeinträchtigen.
© 2024 by Linnk AI