核心概念
大規模言語モデルは心理学的特性を一貫して表現することができず、単純な質問の変化に大きく影響される。
要約
本研究は、大規模言語モデルの心理学的特性を評価するための包括的なベンチマーク「MODEL-PERSONAS」を構築し、17種類の言語モデルを対象に評価を行った。
評価の結果、以下のことが明らかになった:
多くの言語モデルは、質問の形式的な変化に大きく影響され、一貫した回答を生成することができない。BLOOMZ系列とFLAN-T5系列のモデルが最も頑健であった。
多くの言語モデルは、否定表現を含む質問に対して一貫性のある回答を生成することができない。FLAN-T5-XL、GPT-3.5、GPT-4のみが一定の一貫性を示した。
特定の性格特性を質問に付加しても、モデルの一貫性は改善されない。むしろ、関連しない特性の一貫性が低下する傾向がある。
これらの結果は、現在の言語モデルを用いて心理学的特性を評価することの限界を示唆している。質問の形式や内容の変化に大きく影響されるため、モデルの「性格」や「価値観」を正確に捉えることは困難であると考えられる。
統計
大規模言語モデルの回答は、単純な質問形式の変化に大きく影響される。
多くの言語モデルは、否定表現を含む質問に対して一貫性のある回答を生成することができない。
特定の性格特性を質問に付加しても、モデルの一貫性は改善されない。
引用
"大規模言語モデルは心理学的特性を一貫して表現することができず、単純な質問の変化に大きく影響される。"
"FLAN-T5-XL、GPT-3.5、GPT-4のみが一定の一貫性を示した。"
"特定の性格特性を質問に付加しても、モデルの一貫性は改善されない。むしろ、関連しない特性の一貫性が低下する傾向がある。"