Maschinelles Lernen, Natürliche Sprachverarbeitung

insight - Maschinelles Lernen, Natürliche Sprachverarbeitung

Effiziente Verarbeitung und Analyse von Inhalten für Erkenntnisse: Eine differenzierbare Pipeline für wenig-schussübergreifende Zusammenfassung

Eine differenzierbare Pipeline, die die Aufgaben der Zusammenfassung und Übersetzung sequenziell durchführt, um öffentlich verfügbare Ressourcen für monolinguale Zusammenfassung und Übersetzung zu nutzen und eine sehr wettbewerbsfähige Nullschuss-Leistung zu erzielen. Darüber hinaus kann die vorgeschlagene Pipeline durch wenig-schussfeines Finetuning von der Verfügbarkeit weniger Beispiele profitieren.

Effizientes Wissensbearbeitungsframework für Große Sprachmodelle

EASYEDIT ist ein leicht zu bedienendes Framework zur effizienten Bearbeitung des Wissens in Großen Sprachmodellen, das verschiedene fortschrittliche Bearbeitungsmethoden unterstützt und auf bekannte Sprachmodelle wie T5, GPT-J, LlaMA usw. angewendet werden kann.

Effiziente Verarbeitung von langen Texten für Transformer-basierte Klassifizierung auf Ressourcen-beschränkten GPU-Diensten

Einfache Methoden zum Kürzen und Anreichern von Textsequenzen können die Leistung von Transformer-Modellen bei der Klassifizierung langer Texte auf ressourcenbeschränkten GPU-Diensten verbessern.

Effiziente Verarbeitung und Analyse von Inhalten zur Gewinnung von Erkenntnissen: Eine Fallstudie zur quellenfreien Domänenanpassung für Frage-Antwort-Systeme

Eine neuartige selbsttrainierende Methode zur Domänenanpassung von Frage-Antwort-Modellen, die eine speziell entworfene Maskierungskomponente zur Beibehaltung von Domänenwissen und Minderung von Domänenverschiebungen integriert.

Effiziente Retrieval-basierte Feinabstimmung von Llama-2-Modellen mit JORA: Eine JAX-basierte Bibliothek für skalierbare und speichereffiziente Verarbeitung

JORA, eine JAX-basierte Bibliothek, ermöglicht eine effiziente und skalierbare Feinabstimmung von Llama-2-Modellen für Retrieval-basierte Aufgaben, indem sie Tensor-Parallelität und Low-Rank-Anpassung (LoRA) nutzt, um den Speicherverbrauch zu reduzieren und die Rechenleistung zu verbessern.

Effizientes Amortisieren der intraktablen Inferenz in großen Sprachmodellen

Durch die Verwendung von amortisierter Bayes'scher Inferenz können große Sprachmodelle effizient aus intraktablen Posteriorverteilungen sampeln, was eine Vielzahl von Anwendungen wie Textergänzung, Kettendenken-Reasoning und Werkzeugnutzung ermöglicht.

Kernelisierte Konzeptlöschung: Identifizierung und Entfernung nicht-linear kodierter Konzepte in neuronalen Darstellungen

Es ist möglich, spezifische nicht-lineare Gegner daran zu hindern, ein bestimmtes Konzept vorherzusagen, indem man eine Kernelisierung eines linearen Minimax-Spiels für die Konzeptlöschung verwendet. Der Schutz überträgt sich jedoch nicht auf verschiedene nicht-lineare Gegner, was darauf hindeutet, dass das erschöpfende Löschen eines nicht-linear kodierten Konzepts ein offenes Problem bleibt.

Faire Sprachmodelle ohne demografische Informationen durch prototypische Darstellungen

Unser Ansatz DAFAIR nutzt prototypische Textdarstellungen, um Voreingenommenheit in Sprachmodellen zu reduzieren, ohne auf demografische Informationen angewiesen zu sein.

LoRA-SP: Eine effiziente Methode zur teilweisen Parameteranpassung für das ressourcenschonende Fine-Tuning großer Sprachmodelle

LoRA-SP ist eine neuartige Methode, die eine zufällige Halbierung der anzupassenden Parameter innerhalb des Low-Rank Adaptation (LoRA) Frameworks nutzt, um den Rechenaufwand und den Speicherbedarf beim Fine-Tuning großer Sprachmodelle erheblich zu reduzieren, ohne die Modellleistung zu beeinträchtigen.

Verbesserung der Erklärungstreue durch Entdeckung und Nutzung von Abkürzungen in der selektiven Rationalisierung

Die Studie präsentiert eine Methode zur Verbesserung der selektiven Rationalisierung, indem potenzielle Abkürzungen in den Daten entdeckt und genutzt werden, um genauere Vorhersagen und plausiblere Begründungen zu erzielen.

About

Products | Resources

Insights