Effiziente Verarbeitung und Analyse von Inhalten für Erkenntnisse: Eine differenzierbare Pipeline für wenig-schussübergreifende Zusammenfassung
Eine differenzierbare Pipeline, die die Aufgaben der Zusammenfassung und Übersetzung sequenziell durchführt, um öffentlich verfügbare Ressourcen für monolinguale Zusammenfassung und Übersetzung zu nutzen und eine sehr wettbewerbsfähige Nullschuss-Leistung zu erzielen. Darüber hinaus kann die vorgeschlagene Pipeline durch wenig-schussfeines Finetuning von der Verfügbarkeit weniger Beispiele profitieren.
Effizientes Wissensbearbeitungsframework für Große Sprachmodelle
EASYEDIT ist ein leicht zu bedienendes Framework zur effizienten Bearbeitung des Wissens in Großen Sprachmodellen, das verschiedene fortschrittliche Bearbeitungsmethoden unterstützt und auf bekannte Sprachmodelle wie T5, GPT-J, LlaMA usw. angewendet werden kann.
Effiziente Verarbeitung von langen Texten für Transformer-basierte Klassifizierung auf Ressourcen-beschränkten GPU-Diensten
Einfache Methoden zum Kürzen und Anreichern von Textsequenzen können die Leistung von Transformer-Modellen bei der Klassifizierung langer Texte auf ressourcenbeschränkten GPU-Diensten verbessern.
Effiziente Verarbeitung und Analyse von Inhalten zur Gewinnung von Erkenntnissen: Eine Fallstudie zur quellenfreien Domänenanpassung für Frage-Antwort-Systeme
Eine neuartige selbsttrainierende Methode zur Domänenanpassung von Frage-Antwort-Modellen, die eine speziell entworfene Maskierungskomponente zur Beibehaltung von Domänenwissen und Minderung von Domänenverschiebungen integriert.
Effiziente Retrieval-basierte Feinabstimmung von Llama-2-Modellen mit JORA: Eine JAX-basierte Bibliothek für skalierbare und speichereffiziente Verarbeitung
JORA, eine JAX-basierte Bibliothek, ermöglicht eine effiziente und skalierbare Feinabstimmung von Llama-2-Modellen für Retrieval-basierte Aufgaben, indem sie Tensor-Parallelität und Low-Rank-Anpassung (LoRA) nutzt, um den Speicherverbrauch zu reduzieren und die Rechenleistung zu verbessern.
Effizientes Amortisieren der intraktablen Inferenz in großen Sprachmodellen
Durch die Verwendung von amortisierter Bayes'scher Inferenz können große Sprachmodelle effizient aus intraktablen Posteriorverteilungen sampeln, was eine Vielzahl von Anwendungen wie Textergänzung, Kettendenken-Reasoning und Werkzeugnutzung ermöglicht.
Kernelisierte Konzeptlöschung: Identifizierung und Entfernung nicht-linear kodierter Konzepte in neuronalen Darstellungen
Es ist möglich, spezifische nicht-lineare Gegner daran zu hindern, ein bestimmtes Konzept vorherzusagen, indem man eine Kernelisierung eines linearen Minimax-Spiels für die Konzeptlöschung verwendet. Der Schutz überträgt sich jedoch nicht auf verschiedene nicht-lineare Gegner, was darauf hindeutet, dass das erschöpfende Löschen eines nicht-linear kodierten Konzepts ein offenes Problem bleibt.
Faire Sprachmodelle ohne demografische Informationen durch prototypische Darstellungen
Unser Ansatz DAFAIR nutzt prototypische Textdarstellungen, um Voreingenommenheit in Sprachmodellen zu reduzieren, ohne auf demografische Informationen angewiesen zu sein.
LoRA-SP: Eine effiziente Methode zur teilweisen Parameteranpassung für das ressourcenschonende Fine-Tuning großer Sprachmodelle
LoRA-SP ist eine neuartige Methode, die eine zufällige Halbierung der anzupassenden Parameter innerhalb des Low-Rank Adaptation (LoRA) Frameworks nutzt, um den Rechenaufwand und den Speicherbedarf beim Fine-Tuning großer Sprachmodelle erheblich zu reduzieren, ohne die Modellleistung zu beeinträchtigen.
Verbesserung der Erklärungstreue durch Entdeckung und Nutzung von Abkürzungen in der selektiven Rationalisierung
Die Studie präsentiert eine Methode zur Verbesserung der selektiven Rationalisierung, indem potenzielle Abkürzungen in den Daten entdeckt und genutzt werden, um genauere Vorhersagen und plausiblere Begründungen zu erzielen.
© 2024 by Linnk AI