"YOU TELL ME": Ein Datensatz von GPT-4-basierten Verhaltensänderungsunterstützungsgesprächen

Core Concepts

Dieser Datensatz enthält Interaktionen zwischen Nutzern und zwei GPT-4-basierten Konversationsagenten, von denen einer angewiesen wurde, Prinzipien des Motivierenden Gesprächs zu befolgen, während der andere dies nicht tat. Der Datensatz kann wertvolle Erkenntnisse über das Nutzerverhalten bei der Interaktion mit LLM-basierten Systemen in diesem Kontext liefern und so die nutzerorientierte Gestaltung solcher Systeme in Zukunft informieren.

Abstract

Dieser Datensatz stammt aus einer vorregistrierten Online-Nutzerstudie, die darauf abzielte, die Kontrollierbarkeit und Wirksamkeit von GPT-4-basierten Verhaltensänderungsunterstützungssystemen zu evaluieren. Die Studie umfasste 185 Gespräche mit 164 Teilnehmern, die sich mit drei verschiedenen Zielverhalten (gesündere Ernährung, nachhaltigeres Leben, weniger Prokrastination) auseinandersetzten. Vor und nach den Gesprächen wurden verschiedene Maße zur Erfassung der Nutzererfahrung erhoben. Die Gespräche bestanden aus drei Phasen: Kontaktaufnahme und Fokussierung, Anregung und Schlussfolgerung. In der Anregungsphase wurden die Botschafteräußerungen von GPT-4 generiert, wobei die Teilnehmer zufällig einem von zwei Bedingungen zugewiesen wurden: einer Bedingung, in der GPT-4 ohne weitere Anweisung agierte, und einer Bedingung, in der GPT-4 angewiesen wurde, Prinzipien des Motivierenden Gesprächs zu befolgen. Der Datensatz enthält neben den Gesprächsverläufen auch Klassifizierungen der Nutzeräußerungen hinsichtlich ihrer Implikationen für die Verhaltensänderungsmotivation, Bewertungen der GPT-4-generierten Botschafteräußerungen durch die Nutzer sowie Angaben zu deren Erfahrungen mit dem System.

Stats

Die Teilnehmer waren zwischen 19 und 72 Jahren alt (Durchschnitt=32,28, SD=9,45), 41,4% waren weiblich. Die Mehrheit der Teilnehmer hatte einen hohen Bildungsstand, 31,2% hatten Abitur und 56% mindestens einen Bachelorabschluss. Die meisten Teilnehmer wählten Prokrastination als ihr Zielverhalten, während das Interesse an einer Steigerung der Nachhaltigkeit am geringsten war. Die durchschnittliche Bereitschaft zur Verhaltensänderung zu Beginn der Interaktion lag bei 6,25 (SD=2,27, Min=0, Max=10).

Quotes

"Sie sagen es mir." "Das ist der schwierige Teil, es muss einfach, nicht kompliziert und teuer sein, und es muss auch noch lecker sein. Ich kann nie sicher sein, ich muss es einfach ausprobieren."

Key Insights Distilled From

"You tell me"

by Selina Meyer... at arxiv.org 04-04-2024

https://arxiv.org/pdf/2401.16167.pdf

Deeper Inquiries

Wie unterscheidet sich die Interaktion der Nutzer mit dem System je nach Gesprächsbedingung?

Die Interaktion der Nutzer mit dem System variiert je nach Gesprächsbedingung, insbesondere in Bezug auf die Art der generierten Bot-Äußerungen. In dem beschriebenen Szenario wurden die Nutzer in zwei Bedingungen eingeteilt: eine, in der GPT-4 alle Bot-Äußerungen generierte, und eine, in der GPT-4 nach Motivational Interviewing-Prinzipien handeln sollte. Die Nutzer mussten jede Bot-Äußerung als hilfreich, unhilfreich oder schädlich bewerten. Diese Bewertungen spiegeln wider, wie die Nutzer die Interaktion mit dem System in Bezug auf die Unterstützung bei Verhaltensänderungen wahrgenommen haben. Darüber hinaus können Aspekte wie Selbstoffenbarung des Nutzers, Kooperationsbereitschaft und die Art der Gesprächsführung variieren und Einfluss auf die Interaktion haben.

Können Gespräche mit einem Chatbot Rückschlüsse auf die Bereitschaft eines Nutzers zur Verhaltensänderung zulassen?

Ja, Gespräche mit einem Chatbot können Rückschlüsse auf die Bereitschaft eines Nutzers zur Verhaltensänderung zulassen. Durch die Analyse der Gesprächsprotokolle und der Interaktionen zwischen Nutzern und dem Chatbot können Forscher die Bereitschaft zur Verhaltensänderung eines Nutzers bewerten. Dies kann anhand verschiedener Faktoren erfolgen, darunter die Art der Äußerungen des Nutzers (Veränderung, Aufrechterhaltung, neutral), die Bewertungen der Bot-Äußerungen durch den Nutzer, die Selbstoffenbarung des Nutzers während des Gesprächs und die Kooperationsbereitschaft des Nutzers. Darüber hinaus können vorherige Studien zur Verhaltensänderung und Motivationspsychologie als Grundlage dienen, um die Bereitschaft zur Veränderung anhand der Gesprächsinhalte zu interpretieren.

Welche Auswirkungen hat das Nutzerverhalten auf den Gesprächserfolg?

Das Nutzerverhalten kann erhebliche Auswirkungen auf den Gesprächserfolg mit einem Chatbot haben. In dem beschriebenen Szenario wurden Aspekte wie die Klassifizierung der Nutzeräußerungen, die Bewertungen der Bot-Äußerungen durch den Nutzer und die Art der Interaktion zwischen Nutzer und System analysiert. Nutzerverhalten, das zur Klärung von Verhaltensänderungen beiträgt, kann den Gesprächserfolg positiv beeinflussen, indem es zu einer konstruktiven und unterstützenden Interaktion führt. Andererseits können unklare oder nicht konstruktive Nutzeräußerungen den Gesprächsverlauf beeinträchtigen und den Erfolg der Gespräche mit dem Chatbot verringern. Die Analyse des Nutzerverhaltens in Bezug auf den Gesprächserfolg kann wertvolle Einblicke liefern, um die Interaktion zwischen Nutzern und Chatbots zu verbessern und effektivere Unterstützung bei Verhaltensänderungen zu bieten.