Der Datensatz enthält Metaphernbeispiele aus vier verschiedenen Genres (akademisch, Nachrichten, Fiktion, Konversation) mit unterschiedlichen Graden an Neuheit. Die Metaphernbeispiele wurden so ausgewählt, dass sie durch Ersetzung eines einzelnen Worts paraphrasiert werden können. Für eine Auswahl der Beispiele wurden geeignete und ungeeignete Paraphrasen manuell annotiert.
Der Datensatz wurde entwickelt, um zu untersuchen, ob Große Sprachmodelle Metaphern durch Abbildung von Konzepten über Domänen hinweg verstehen oder ob sie sich eher auf lexikalische Ähnlichkeit verlassen. Die Experimente mit LLaMA und GPT-3.5 zeigen, dass der Datensatz eine Herausforderung für diese Modelle darstellt. Der Datensatz soll Einblicke in die Metaphernverarbeitungsfähigkeiten von Großen Sprachmodellen liefern und Wege zu deren Verbesserung aufzeigen.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Xiaoyu Tong,... at arxiv.org 03-19-2024
https://arxiv.org/pdf/2403.11810.pdfDeeper Inquiries