Die Studie untersucht, ob große Sprachmodelle (LLMs) in der Lage sind, Text zu "destillieren": Dabei sollen die textuellen Spuren einer unerwünschten, verbotenen Variable entfernt werden, während andere relevante Signale erhalten bleiben. Die Ergebnisse zeigen, dass dies für die derzeitige Generation von LLMs sowie für menschliche Annotatorinnen und Annotatoren eine Herausforderung darstellt. Während die leistungsfähigsten LLMs (z.B. GPT-4) den Text manchmal so umformulieren, dass es für Menschen schwierig ist, den ursprünglichen Wert der verbotenen Variable zu erkennen, ist der statistische Zusammenhang zwischen dem verarbeiteten Text und der Sentiment-Variable immer noch deutlich erkennbar. Darüber hinaus zeigt sich, dass auch menschliche Kodierer Schwierigkeiten haben, Sentiment zu entfernen, während andere semantische Inhalte erhalten bleiben. Dies deutet darauf hin, dass es in manchen Textkontext eine begrenzte Trennbarkeit zwischen Konzeptvariablen geben kann, was Fragen zur Robustheit von Destillationsmethoden aufwirft, die statistische Unabhängigkeit in Repräsentationsräumen erreichen.
To Another Language
from source content
arxiv.org
Ключові висновки, отримані з
by Nicolas Audi... о arxiv.org 03-26-2024
https://arxiv.org/pdf/2403.16584.pdfГлибші Запити