Wie gut können große Sprachmodelle menschliches Lesen simulieren? Eine Untersuchung der psychometrischen Vorhersagekraft

Obwohl Instruktionsanpassung die Antworten großer Sprachmodelle (LLMs) an menschliche Präferenzen ausrichtet, zeigt diese Studie, dass Instruktionsanpassung nicht immer LLMs menschenähnlich aus Sicht der kognitiven Modellierung macht. Die Wahrscheinlichkeiten der nächsten Wörter, die von instruktionsangepassten LLMs geschätzt werden, simulieren oft schlechter das menschliche Leseverhalten als die Schätzungen von Basis-LLMs.