Core Concepts
Sprachmodelle zeigen in bestimmten Kontexten eine Präferenz für das Erklären atypischer Beobachtungen durch Erwähnung peripherer Aussagen anstatt das allgemeine Wissen direkt zu negieren. In anderen Kontexten bevorzugen sie jedoch die Modifikation von Kernwissen anstatt die Beobachtung anzupassen.
Abstract
Dieser Artikel untersucht die inhärente Epistemologie von Sprachmodellen aus der Perspektive des epistemologischen Holismus. Das Ziel ist es herauszufinden, ob Sprachmodelle Charakteristika aufweisen, die mit dem epistemologischen Holismus übereinstimmen.
Der epistemologische Holismus besagt, dass unser Wissen ein "Netz von Überzeugungen" bildet, in dem keine Wissenseinheit isoliert ist, sondern jede mit anderen verbunden ist. Im Zentrum dieses Netzes befinden sich relativ sichere Wissenseinheiten wie Logik, Allgemeinwissen und wissenschaftliche Fakten, die nur schwer zu revidieren sind. An der Peripherie befinden sich empirische Fakten, die direkter mit Erfahrung verbunden sind und bei Gegenbeispielen leichter revidiert werden können.
Um die Ausrichtung von Sprachmodellen mit dem epistemologischen Holismus zu untersuchen, wurden drei Aufgaben entwickelt: Abduktion, Revision und Argumentgenerierung. In der Abduktionsaufgabe zeigten alle Modelle eine Präferenz dafür, atypische Beobachtungen durch Erwähnung peripherer Aussagen zu erklären, anstatt allgemeines Wissen direkt zu negieren. In der Revisionsaufgabe bevorzugten die Sprachmodelle jedoch die Modifikation von Kernwissen wie wissenschaftlichen Fakten anstatt periphere Bedingungen anzupassen. In der Argumentgenerierungsaufgabe, die den holistischen Argumentationsaufbau am besten repräsentiert, zeigten die Modelle ebenfalls eine Tendenz, Kernwissen direkt zu negieren, anstatt periphere Bedingungen zu erwähnen.
Diese gemischten Ergebnisse deuten darauf hin, dass die Ausrichtung von Sprachmodellen mit einem holistischen epistemologischen Rahmen kontextabhängig ist und eher eine partielle als eine umfassende Adhärenz an den epistemologischen Holismus aufweist.
Stats
Sprachmodelle zeigten in der Abduktionsaufgabe eine Erfolgsquote von über 60%, ohne das Kernwissen zu verändern.
In der Revisionsaufgabe bevorzugten die Sprachmodelle häufig die Modifikation von Kernwissen anstatt periphere Bedingungen anzupassen.
In der Argumentgenerierungsaufgabe negierten die Sprachmodelle oft direkt das Ausgangshypothese, anstatt periphere Bedingungen zu erwähnen.
Quotes
"Sprachmodelle zeigten in der Abduktionsaufgabe eine Präferenz dafür, atypische Beobachtungen durch Erwähnung peripherer Aussagen zu erklären, anstatt allgemeines Wissen direkt zu negieren."
"In der Revisionsaufgabe bevorzugten die Sprachmodelle jedoch die Modifikation von Kernwissen wie wissenschaftlichen Fakten anstatt periphere Bedingungen anzupassen."
"In der Argumentgenerierungsaufgabe zeigten die Modelle ebenfalls eine Tendenz, Kernwissen direkt zu negieren, anstatt periphere Bedingungen zu erwähnen."