In dieser Arbeit analysieren die Autoren die mentalen Zustände von Nutzern während der Aufgabenausführung und untersuchen, inwieweit große Sprachmodelle (LLMs) in der Lage sind, Nutzerprofile zu interpretieren, um eine personalisierte Anleitung zu ermöglichen.
Die Autoren erweiterten den WTaG-Datensatz, um 6 Kategorien von Nutzerprofilen in die Dialoge zwischen Nutzer und Anleiter aufzunehmen: Frustration, Lernbereitschaft, Gesprächigkeit, Erfahrung, Vertrautheit mit Werkzeugen und Detailorientierung. Die Analyse der Daten zeigte, dass Nutzer unterschiedliche Konsistenz in diesen Profilen über verschiedene Rezepte hinweg aufweisen.
Anschließend untersuchten die Autoren, wie gut das Sprachmodell ChatGPT in der Lage ist, diese Nutzerprofile aus den Dialogen vorherzusagen. Die Ergebnisse zeigen, dass ChatGPT gut Detailorientierung, Lernbereitschaft und Gesprächigkeit erkennen kann, aber Schwierigkeiten hat, Frustration und Erfahrung korrekt einzuschätzen.
Die Autoren schlussfolgern, dass weitere Forschung nötig ist, um die Fähigkeiten von LLMs zur Nutzermodellierung zu verbessern, z.B. durch größere Datensätze, bessere Prompting-Strategien, Online-Erkennung von Nutzerzuständen und multimodale Signale.
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Megan Su,Yuw... kl. arxiv.org 04-01-2024
https://arxiv.org/pdf/2403.20134.pdfDybere Forespørgsler