Automatisierte Optimierung von Modell-Merge-Rezepten zur Erstellung leistungsfähiger Grundlagenmodelle
Wir präsentieren eine neuartige Anwendung evolutionärer Algorithmen, um die Erstellung leistungsfähiger Grundlagenmodelle zu automatisieren. Unser Ansatz nutzt die kollektive Intelligenz bestehender Open-Source-Modelle, um neue Modelle mit benutzerdefinierten Fähigkeiten zu entwickeln, ohne umfangreiche zusätzliche Trainingsdaten oder Rechenleistung zu benötigen.
Kontinuierliches Lernen ohne Exemplare: Ein Dual-Learner-Framework mit kumulativer Parameteraveragierung
Ein Dual-Learner-Framework mit kumulativer Parameteraveragierung (DLCPA) wird vorgestellt, um die Herausforderung zwischen Plastizität und Stabilität beim exemplarfreien kontinuierlichen Lernen zu überwinden. DLCPA verwendet einen plastischen Lerner, um neues Aufgabenwissen zu erwerben, und einen stabilen Lerner, um das gesamte erlernte Wissen zu akkumulieren. Die Übertragung von Wissen vom plastischen Lerner zum stabilen Lerner erfolgt über eine kumulative Parameteraveragierung.
Effiziente Transformer-basierte Hyperparameter-Optimierung für ressourcenbeschränkte IoT-Umgebungen
Die Arbeit präsentiert einen neuartigen Ansatz zur Hyperparameter-Optimierung (HPO) von Convolutional Neural Networks (CNNs), der Transformer-Architektur und Actor-Critic Reinforcement Learning kombiniert. Dieser Ansatz, genannt TRL-HPO, ermöglicht eine effizientere und transparentere Generierung von CNN-Modellen im Vergleich zu bisherigen Methoden.
Effizientes Online-Lernen auf Edge-Geräten: EdgeOL - eine Lösung für Genauigkeit, Ausführungszeit und Energieeffizienz
EdgeOL ist ein Rahmenwerk für effizientes Online-Lernen auf Edge-Geräten, das die Inferenzgenauigkeit, die Ausführungszeit der Feinabstimmung und den Energieverbrauch optimiert.
Effiziente Verarbeitung und Analyse von Inhalten mit IGANN Sparse: Überbrückung von Spärlichkeit und Interpretierbarkeit durch nichtlineare Erkenntnisse
IGANN Sparse ist ein neuartiges Maschinelles-Lernmodell, das Spärlichkeit durch einen nichtlinearen Merkmalsauswahlprozess während des Trainings fördert. Dadurch wird die Interpretierbarkeit durch verbesserte Modellspärlichkeit ohne Beeinträchtigung der Vorhersageleistung sichergestellt.
Ein allgemeiner Rahmen zur Verbesserung der Leistung von Klassifizierern unter Verwendung von XAI-Methoden
Ein neuartiger Rahmen, der XAI-Techniken nutzt, um die Leistung bereits trainierter Klassifizierer automatisch zu verbessern, ohne aufwendiges Neutraining.
Generatives Abstraktes Reasoning: Vervollständigung von Raven's Progressive Matrizen durch Regelabstraktion und -auswahl
Ein tiefes latentes Variablenmodell (RAISE) kann Bildattribute als unabhängige latente Konzepte enkodieren und globale atomare Regeln abstrahieren und auswählen, um Antworten auf Raven's Progressive Matrizen zu generieren.
Effiziente Verarbeitung und Analyse von Inhalten zur Gewinnung von Erkenntnissen durch ausdrucksstarke Verlustfunktionen für verifizierte Robustheit
Ausdrucksstarke Verlustfunktionen, die einen Bereich zwischen adversarieller und verifizierter Robustheit abdecken, sind entscheidend, um einen optimalen Kompromiss zwischen Genauigkeit und verifizierter Robustheit zu erreichen.
Schutz feingenutzter Sprachmodelle vor Membership Inference Angriffen
Verschiedene Methoden können die Anfälligkeit feinabgestimmter Sprachmodelle für Membership Inference Angriffe deutlich reduzieren, ohne die Modellgenauigkeit stark zu beeinträchtigen.
Verbesserung des Reinforcement Lernens aus menschlichen Rückmeldungen durch den Einsatz von kontrastiven Belohnungen
Unser Ansatz führt zu einer deutlichen Verbesserung der Leistung und Robustheit des Reinforcement Lernens aus menschlichen Rückmeldungen, indem er die Unzulänglichkeiten von Belohnungsmodellen explizit berücksichtigt.
© 2024 by Linnk AI