In dieser Arbeit analysieren die Autoren die mentalen Zustände von Nutzern während der Aufgabenausführung und untersuchen, inwieweit große Sprachmodelle (LLMs) in der Lage sind, Nutzerprofile zu interpretieren, um eine personalisierte Anleitung zu ermöglichen.
Die Autoren erweiterten den WTaG-Datensatz, um 6 Kategorien von Nutzerprofilen in die Dialoge zwischen Nutzer und Anleiter aufzunehmen: Frustration, Lernbereitschaft, Gesprächigkeit, Erfahrung, Vertrautheit mit Werkzeugen und Detailorientierung. Die Analyse der Daten zeigte, dass Nutzer unterschiedliche Konsistenz in diesen Profilen über verschiedene Rezepte hinweg aufweisen.
Anschließend untersuchten die Autoren, wie gut das Sprachmodell ChatGPT in der Lage ist, diese Nutzerprofile aus den Dialogen vorherzusagen. Die Ergebnisse zeigen, dass ChatGPT gut Detailorientierung, Lernbereitschaft und Gesprächigkeit erkennen kann, aber Schwierigkeiten hat, Frustration und Erfahrung korrekt einzuschätzen.
Die Autoren schlussfolgern, dass weitere Forschung nötig ist, um die Fähigkeiten von LLMs zur Nutzermodellierung zu verbessern, z.B. durch größere Datensätze, bessere Prompting-Strategien, Online-Erkennung von Nutzerzuständen und multimodale Signale.
Ke Bahasa Lain
dari konten sumber
arxiv.org
Wawasan Utama Disaring Dari
by Megan Su,Yuw... pada arxiv.org 04-01-2024
https://arxiv.org/pdf/2403.20134.pdfPertanyaan yang Lebih Dalam