Wir präsentieren eine neuartige Anwendung evolutionärer Algorithmen, um die Erstellung leistungsfähiger Grundlagenmodelle zu automatisieren. Unser Ansatz nutzt die kollektive Intelligenz bestehender Open-Source-Modelle, um neue Modelle mit benutzerdefinierten Fähigkeiten zu entwickeln, ohne umfangreiche zusätzliche Trainingsdaten oder Rechenleistung zu benötigen.
Ein Dual-Learner-Framework mit kumulativer Parameteraveragierung (DLCPA) wird vorgestellt, um die Herausforderung zwischen Plastizität und Stabilität beim exemplarfreien kontinuierlichen Lernen zu überwinden. DLCPA verwendet einen plastischen Lerner, um neues Aufgabenwissen zu erwerben, und einen stabilen Lerner, um das gesamte erlernte Wissen zu akkumulieren. Die Übertragung von Wissen vom plastischen Lerner zum stabilen Lerner erfolgt über eine kumulative Parameteraveragierung.
Die Arbeit präsentiert einen neuartigen Ansatz zur Hyperparameter-Optimierung (HPO) von Convolutional Neural Networks (CNNs), der Transformer-Architektur und Actor-Critic Reinforcement Learning kombiniert. Dieser Ansatz, genannt TRL-HPO, ermöglicht eine effizientere und transparentere Generierung von CNN-Modellen im Vergleich zu bisherigen Methoden.
EdgeOL ist ein Rahmenwerk für effizientes Online-Lernen auf Edge-Geräten, das die Inferenzgenauigkeit, die Ausführungszeit der Feinabstimmung und den Energieverbrauch optimiert.
IGANN Sparse ist ein neuartiges Maschinelles-Lernmodell, das Spärlichkeit durch einen nichtlinearen Merkmalsauswahlprozess während des Trainings fördert. Dadurch wird die Interpretierbarkeit durch verbesserte Modellspärlichkeit ohne Beeinträchtigung der Vorhersageleistung sichergestellt.
Ein neuartiger Rahmen, der XAI-Techniken nutzt, um die Leistung bereits trainierter Klassifizierer automatisch zu verbessern, ohne aufwendiges Neutraining.
Ein tiefes latentes Variablenmodell (RAISE) kann Bildattribute als unabhängige latente Konzepte enkodieren und globale atomare Regeln abstrahieren und auswählen, um Antworten auf Raven's Progressive Matrizen zu generieren.
Ausdrucksstarke Verlustfunktionen, die einen Bereich zwischen adversarieller und verifizierter Robustheit abdecken, sind entscheidend, um einen optimalen Kompromiss zwischen Genauigkeit und verifizierter Robustheit zu erreichen.
Verschiedene Methoden können die Anfälligkeit feinabgestimmter Sprachmodelle für Membership Inference Angriffe deutlich reduzieren, ohne die Modellgenauigkeit stark zu beeinträchtigen.
Unser Ansatz führt zu einer deutlichen Verbesserung der Leistung und Robustheit des Reinforcement Lernens aus menschlichen Rückmeldungen, indem er die Unzulänglichkeiten von Belohnungsmodellen explizit berücksichtigt.