المفاهيم الأساسية
Großsprachmodelle wie GPT-3.5 können als effiziente Crowdsourcing-Annotatoren eingesetzt werden, indem man ihnen Aufgabenbeschreibungen, Kategoriedefinitionen und Beispiele bereitstellt.
الملخص
Der Artikel untersucht, wie Großsprachmodelle wie GPT-3.5 als Ersatz für menschliche Crowdsourcing-Annotatoren verwendet werden können.
Zunächst wird erklärt, wie man GPT-3.5 als Nullshot-Annotator einsetzen kann, indem man ihm Aufgabenbeschreibungen und Kategoriedefinitionen bereitstellt. Dann wird gezeigt, wie GPT-3.5 als Few-Shot-Annotator fungieren kann, indem man ihm zusätzlich annotierte Beispiele präsentiert.
Um die Annotationsqualität weiter zu verbessern, wird ein zweistufiger Ansatz namens "Explain-then-Annotate" vorgestellt. Dabei wird GPT-3.5 zunächst dazu aufgefordert, Erklärungen für die Beispielannotationen zu generieren. Diese Erklärungen werden dann verwendet, um einen Few-Shot-Chain-of-Thought-Prompt zu erstellen, mit dem GPT-3.5 die Daten annotiert.
Die Experimente auf drei Datensätzen zeigen, dass der vorgeschlagene Ansatz die Leistung menschlicher Annotatoren entweder übertrifft oder zumindest erreicht. Darüber hinaus wird ein Datensatz für konversationsbasierte Informationssuche vorgestellt, der mit Hilfe von AnnoLLM erstellt wurde.
الإحصائيات
"Großsprachmodelle wie GPT-3.5 können als effiziente Crowdsourcing-Annotatoren eingesetzt werden."
"Der vorgeschlagene Ansatz übertrifft die Leistung menschlicher Annotatoren oder erreicht diese zumindest."
اقتباسات
"Großsprachmodelle wie GPT-3.5 können als effiziente Crowdsourcing-Annotatoren eingesetzt werden, indem man ihnen Aufgabenbeschreibungen, Kategoriedefinitionen und Beispiele bereitstellt."
"Um die Annotationsqualität weiter zu verbessern, wird ein zweistufiger Ansatz namens 'Explain-then-Annotate' vorgestellt."