Eine differenzierbare Pipeline, die die Aufgaben der Zusammenfassung und Übersetzung sequenziell durchführt, um öffentlich verfügbare Ressourcen für monolinguale Zusammenfassung und Übersetzung zu nutzen und eine sehr wettbewerbsfähige Nullschuss-Leistung zu erzielen. Darüber hinaus kann die vorgeschlagene Pipeline durch wenig-schussfeines Finetuning von der Verfügbarkeit weniger Beispiele profitieren.
EASYEDIT ist ein leicht zu bedienendes Framework zur effizienten Bearbeitung des Wissens in Großen Sprachmodellen, das verschiedene fortschrittliche Bearbeitungsmethoden unterstützt und auf bekannte Sprachmodelle wie T5, GPT-J, LlaMA usw. angewendet werden kann.
Einfache Methoden zum Kürzen und Anreichern von Textsequenzen können die Leistung von Transformer-Modellen bei der Klassifizierung langer Texte auf ressourcenbeschränkten GPU-Diensten verbessern.
Eine neuartige selbsttrainierende Methode zur Domänenanpassung von Frage-Antwort-Modellen, die eine speziell entworfene Maskierungskomponente zur Beibehaltung von Domänenwissen und Minderung von Domänenverschiebungen integriert.
JORA, eine JAX-basierte Bibliothek, ermöglicht eine effiziente und skalierbare Feinabstimmung von Llama-2-Modellen für Retrieval-basierte Aufgaben, indem sie Tensor-Parallelität und Low-Rank-Anpassung (LoRA) nutzt, um den Speicherverbrauch zu reduzieren und die Rechenleistung zu verbessern.
Durch die Verwendung von amortisierter Bayes'scher Inferenz können große Sprachmodelle effizient aus intraktablen Posteriorverteilungen sampeln, was eine Vielzahl von Anwendungen wie Textergänzung, Kettendenken-Reasoning und Werkzeugnutzung ermöglicht.
Es ist möglich, spezifische nicht-lineare Gegner daran zu hindern, ein bestimmtes Konzept vorherzusagen, indem man eine Kernelisierung eines linearen Minimax-Spiels für die Konzeptlöschung verwendet. Der Schutz überträgt sich jedoch nicht auf verschiedene nicht-lineare Gegner, was darauf hindeutet, dass das erschöpfende Löschen eines nicht-linear kodierten Konzepts ein offenes Problem bleibt.
Unser Ansatz DAFAIR nutzt prototypische Textdarstellungen, um Voreingenommenheit in Sprachmodellen zu reduzieren, ohne auf demografische Informationen angewiesen zu sein.
LoRA-SP ist eine neuartige Methode, die eine zufällige Halbierung der anzupassenden Parameter innerhalb des Low-Rank Adaptation (LoRA) Frameworks nutzt, um den Rechenaufwand und den Speicherbedarf beim Fine-Tuning großer Sprachmodelle erheblich zu reduzieren, ohne die Modellleistung zu beeinträchtigen.
Die Studie präsentiert eine Methode zur Verbesserung der selektiven Rationalisierung, indem potenzielle Abkürzungen in den Daten entdeckt und genutzt werden, um genauere Vorhersagen und plausiblere Begründungen zu erzielen.