Theoretische Analyse der Leistungsfähigkeit und Grenzen von Prompting und Prefix-Tuning
Kontextbasierte Feinabstimmungsmethoden wie Prompting, In-Context-Learning, Soft Prompting und Prefix-Tuning sind zwar empirisch erfolgreich, haben aber strukturelle Einschränkungen. Sie können die relativen Aufmerksamkeitsmuster nicht ändern und können die Ausgabe einer Aufmerksamkeitsschicht nur in eine feste Richtung beeinflussen, im Gegensatz zur vollständigen Feinabstimmung.
Vereinheitlichung niedrigdimensionaler Beobachtungen im Deep Learning durch das Deep Linear Unconstrained Feature Model
Die Arbeit zeigt, dass die beobachteten niedrigdimensionalen Strukturen in den Hessischen Spektren, Gradienten und Gewichtsmatrizen von Deep-Learning-Modellen innerhalb des Deep Linear Unconstrained Feature Model mit MSE-Verlust analytisch hergeleitet werden können. Die Struktur, die durch das Deep Neural Collapse-Phänomen induziert wird, führt zu den anderen beobachteten niedrigdimensionalen Strukturen, und es werden Ausdrücke für die Eigenvektoren und Eigenwerte in Bezug auf Deep Neural Collapse-Größen angegeben.
Verbesserung der Informationsstrukturen in RLHF: Belohnungsgeneralisierung aus der Perspektive der Graphentheorie
Die Kompatibilität zwischen hoher Aufgabenvielfalt, geringen Beschriftungskosten und zuverlässiger Ausrichtungsleistung ist ein Trilemma in RLHF. Dieses Trilemma kann durch die sorgfältige Gestaltung der Informationsstruktur des Präferenzdatensatzes während der Belohnungsmodellierung abgemildert werden. Die Eingeführte Bayes'sche Netzwerke (IBN) ermöglichen eine empirisch fundierte Analyse der Belohnungsgeneralisierung und zeigen, dass die baumbasierte Belohnungsmodellierung in komplexen Kontexten mit begrenzten Daten einer kettenbasierten Baseline deutlich überlegen ist.
Theoretische Untersuchung zur Lernbarkeit der Erkennung von Daten außerhalb der Verteilung
Die Studie untersucht die theoretischen Bedingungen, unter denen die Erkennung von Daten außerhalb der Verteilung (Out-of-Distribution, OOD) lernbar ist. Die Autoren finden notwendige und hinreichende Bedingungen für die Lernbarkeit unter Risiko- und AUC-Metriken in verschiedenen praxisrelevanten Verteilungsräumen.
Theoretische Analyse und Verständnis der Grenzen von Direct Preference Optimization (DPO)
Die DPO-Verlustfunktion verringert die Wahrscheinlichkeit, menschlich unerwünschte Daten zu erzeugen, schneller, als sie die Wahrscheinlichkeit erhöht, bevorzugte Daten zu erzeugen. Dies erklärt theoretisch, warum DPO die Lernfähigkeit von LLMs zur Erzeugung menschlich bevorzugter Antworten beeinträchtigt und warum DPO empfindlich auf die Effektivität des überwachten Feintunings (SFT) ist.
Probabilistische Generierungsschaltungen - Entmystifiziert
Probabilistische Generierungsschaltungen (PGCs) sind nichts anderes als probabilistische Schaltungen (PCs) mit negativen Gewichten. Die zusätzliche Ausdruckskraft von PGCs gegenüber PCs kommt nicht von der unterschiedlichen Darstellung, sondern von der Erlaubnis negativer Gewichte.
Eine gründliche Analyse des Aufmerksamkeitsmechanismus durch die Linse der Austauschbarkeit und latenter Variablenmodelle
Der Aufmerksamkeitsmechanismus in Transformern kann als eine "Graubox"-Methode charakterisiert werden, die die handgeferchte Architektur, die durch ein latentes Variablenmodell induziert wird, und den lernbaren Parameter, der aus Daten geschätzt wird, mit beweisbaren Näherungs-, Verallgemeinerungs- und Optimierungsgarantien vereint.
Theoretische Studie zur Längenverallgemeinerung beim Lernen von Schlussfolgerungen
Die Studie identifiziert und beweist die Bedingungen, unter denen Längenverallgemeinerung beim Lernen von Schlussfolgerungen erreicht werden kann.
Lineare Regression mit minimaler Norm unter Kovarianzverschiebung: Theoretische Analyse und empirische Erkenntnisse
Wir liefern die erste nichtasymptotische, instanzenbezogene Analyse des Minimum-Norm-Interpolators (MNI) unter Kovarianzverschiebung in hochdimensionalen linearen Modellen. Wir zeigen eine Taxonomie von vorteilhaften und schädlichen Kovarianzverschiebungen, die davon abhängen, ob wir uns in einem mild oder stark überparametrisierten Regime befinden.
Tensorbasierte Kernel-Maschinen als Gauß-Prozesse: Konvergenzanalyse und Verbindung zur Bayesschen Inferenz
Tensorbasierte Kernel-Maschinen konvergieren im Grenzwert zu Gauß-Prozessen, die durch die zugrunde liegenden Basisfunktionen und Kovarianzfunktionen vollständig charakterisiert sind. Die Konvergenzrate hängt von der verwendeten Tensorzerlegung ab, wobei Tensor-Train-Modelle schneller konvergieren als Canonical Polyadic Decomposition-Modelle.
© 2024 by Linnk AI