Core Concepts
Wir stellen ein neurosymbolisches Framework namens NeuroComparatives vor, um umfangreiches und hochwertiges vergleichendes Wissen aus Sprachmodellen unterschiedlicher Größenordnungen zu gewinnen. Unser Ansatz übertrifft bestehende Ressourcen für vergleichendes Wissen in Bezug auf Größe, Vielfalt und Gültigkeit.
Abstract
In dieser Arbeit stellen wir ein neurosymbolisches Framework namens NeuroComparatives vor, um vergleichendes Wissen in großem Umfang und hoher Qualität aus Sprachmodellen unterschiedlicher Größenordnungen zu gewinnen.
Zunächst sammeln wir vergleichbare Entitäten aus Wikidata und erweitern diese systematisch, um Vergleichspaare für die Wissensgewinnung zu konstruieren. Anschließend nutzen wir verschiedene Sprachmodelle, darunter GPT-2, LLaMA, InstructGPT, ChatGPT und GPT-4, um diese Vergleichspaare zu überbeanspruchen und potenzielle vergleichende Aussagen zu generieren.
Um die Qualität der generierten Aussagen zu erhöhen, wenden wir dann ein mehrstufiges Filterverfahren an. Dieses umfasst die Beseitigung von Duplikaten, die Filterung nach Erfüllung bestimmter Bedingungen, die Beseitigung widersprüchlicher Aussagen und den Einsatz eines Diskriminatormodells.
Das Ergebnis ist NeuroComparatives, eine Sammlung von bis zu 8,8 Millionen Vergleichen über 1,74 Millionen Entitätenpaare - 10-mal größer und 30% vielfältiger als bestehende Ressourcen. Darüber hinaus zeigen Bewertungen durch Menschen, dass NeuroComparatives bestehende Ressourcen in Bezug auf Gültigkeit um bis zu 32% absolut übertreffen. Unsere gewonnenen NeuroComparatives führen auch zu Leistungsverbesserungen in fünf verschiedenen Downstream-Aufgaben.
Insgesamt zeigen unsere Ergebnisse, dass die neurosymbolische Manipulation kleinerer Modelle eine kostengünstige Ergänzung zu der derzeit dominierenden Praxis des einfachen Abfragens von extrem großen Sprachmodellen zur Wissensgewinnung darstellen kann.
Stats
Verglichen mit Blendern können Küchenmaschinen oft mehr Zutaten verarbeiten.
Verglichen mit Blendern benötigen Küchenmaschinen typischerweise mehr Zeit zum Verarbeiten von Lebensmitteln.
Verglichen mit Blendern sind Küchenmaschinen oft komplexere Systeme.
Quotes
"Vergleichendes Wissen (z.B. Stahl ist stärker und schwerer als Styropor) ist eine wesentliche Komponente unseres Weltwissens, wurde in der bisherigen Literatur jedoch wenig untersucht."
"Unsere Ergebnisse motivieren die anpassbare neurosymbolische Manipulation kleinerer Modelle als kostengünstige Ergänzung zu der derzeit dominierenden Praxis des einfachen Abfragens von extrem großen, aber geschlossenen Sprachmodellen."