Effiziente Methode zur Teilweise Gelabelten Multi-Task-Lernung durch Gemeinsame Aufgabenregularisierung
Eine neue Methode namens Joint-Task Regularization (JTR) wird vorgestellt, die eine gemeinsame Aufgabenrepräsentation nutzt, um alle Aufgaben gleichzeitig zu regularisieren und so die Leistung bei teilweise gelabelten Daten zu verbessern.
Ausgewogene und entropiebasierte Mischung für langschwänziges semi-überwachtes Lernen
Diese Arbeit stellt einen neuartigen Ansatz namens Balanced and Entropy-based Mix (BEM) vor, um das langschwänzige semi-überwachte Lernen durch Neuausgewogenheit des Trainingsprozesses zu verbessern. BEM gleicht die Datenmengen über eine klassenausgewogene Mischbank aus und gleicht die klassenweise Unsicherheit durch einen entropiebasierten Lernansatz aus.
Verbesserung der Anpassungsfähigkeit neuronaler Netzwerke durch domänenspezifisches Finetuning
Durch die Umwandlung von Batch-Normalisierungsschichten und die Integration von linearer Sondierung und Finetuning kann die Verzerrung von Merkmalen während des Finetunings erheblich reduziert und die Modellleistung sowohl auf in-Verteilung als auch auf out-of-Verteilung Datensätzen verbessert werden.
© 2024 by Linnk AI