In dieser Arbeit analysieren die Autoren die mentalen Zustände von Nutzern während der Aufgabenausführung und untersuchen, inwieweit große Sprachmodelle (LLMs) in der Lage sind, Nutzerprofile zu interpretieren, um eine personalisierte Anleitung zu ermöglichen.
Die Autoren erweiterten den WTaG-Datensatz, um 6 Kategorien von Nutzerprofilen in die Dialoge zwischen Nutzer und Anleiter aufzunehmen: Frustration, Lernbereitschaft, Gesprächigkeit, Erfahrung, Vertrautheit mit Werkzeugen und Detailorientierung. Die Analyse der Daten zeigte, dass Nutzer unterschiedliche Konsistenz in diesen Profilen über verschiedene Rezepte hinweg aufweisen.
Anschließend untersuchten die Autoren, wie gut das Sprachmodell ChatGPT in der Lage ist, diese Nutzerprofile aus den Dialogen vorherzusagen. Die Ergebnisse zeigen, dass ChatGPT gut Detailorientierung, Lernbereitschaft und Gesprächigkeit erkennen kann, aber Schwierigkeiten hat, Frustration und Erfahrung korrekt einzuschätzen.
Die Autoren schlussfolgern, dass weitere Forschung nötig ist, um die Fähigkeiten von LLMs zur Nutzermodellierung zu verbessern, z.B. durch größere Datensätze, bessere Prompting-Strategien, Online-Erkennung von Nutzerzuständen und multimodale Signale.
To Another Language
from source content
arxiv.org
Principais Insights Extraídos De
by Megan Su,Yuw... às arxiv.org 04-01-2024
https://arxiv.org/pdf/2403.20134.pdfPerguntas Mais Profundas