Keskeiset käsitteet
Nutzer haben Schwierigkeiten, ihre Ziele und Absichten in Prompts zu übersetzen, um die gewünschten Ausgaben von LLMs zu erhalten. Dies führt zu einer "Kluft des Vorstellungsvermögens", die drei Hauptaspekte umfasst: die Fähigkeitslücke, die Anweisungslücke und die Intentionalitätslücke.
Tiivistelmä
Die Studie untersucht die kognitiven Herausforderungen, die Nutzer bei der Interaktion mit Large Language Models (LLMs) wie ChatGPT haben.
Zunächst wird erläutert, wie Intentionen und Interaktionen in herkömmlichen Softwaresystemen funktionieren. Nutzer entwickeln mentale Modelle des Systems, um ihre Absichten in Aktionen umzusetzen. Bei LLMs ist dieser Prozess jedoch komplexer, da die Modelle eine hohe Flexibilität, Variabilität der Eingabeintentionen und Unbestimmtheit der Ausgaben aufweisen.
Die Autoren definieren daher den Begriff der "Kluft des Vorstellungsvermögens", der drei Hauptaspekte umfasst:
Fähigkeitslücke: Nutzer haben Schwierigkeiten, die erforderlichen Verfahrensschritte zu formulieren, um ihre Absichten umzusetzen.
Anweisungslücke: Nutzer haben Probleme, ihre Absichten präzise in Textprompts für das LLM auszudrücken.
Intentionalitätslücke: Nutzer haben Schwierigkeiten, die Ausgaben des LLMs umfassend zu bewerten, da ihnen der kognitive Kontext für die Aufgabe fehlt.
Die Autoren analysieren dann drei LLM-Schnittstellen (ChatGPT, Spellburst, Cursor) und zeigen, wie diese Schnittstellen versuchen, diese Lücken zu überbrücken. Abschließend diskutieren sie, wie Nutzer durch den Einsatz spezialisierter Werkzeuge und Scaffolding-Funktionen besser bei der Überwindung der "Kluft des Vorstellungsvermögens" unterstützt werden können.
Tilastot
Keine relevanten Statistiken oder Kennzahlen identifiziert.
Lainaukset
"Nutzer haben Schwierigkeiten, ihre Ziele und Absichten in Prompts zu übersetzen, um die gewünschten Ausgaben von LLMs zu erhalten."
"Die Fähigkeitslücke betrifft die Unfähigkeit der Nutzer, die 'wie'-Verfahren zur Umsetzung ihrer Absichten zu formulieren."
"Die Anweisungslücke bezieht sich auf die Herausforderungen der Nutzer, ihre Absichten klar und effektiv als Textprompts auszudrücken."
"Die Intentionalitätslücke spiegelt die Herausforderung wider, dass Nutzer die vom LLM generierten Texte bewerten müssen, ohne den kognitiven Kontext für den Aufgabenprozess zu haben."