Core Concepts
人間とGPT-4は、問題解決において加算的な解決策を好む傾向がある。しかし、解決効率や指示の価値によってその傾向は異なる。
Abstract
本研究は、人間とGPT-4の大規模言語モデルにおける加算バイアスと減算バイアスを比較することを目的としている。4つの実験を行い、以下の知見を得た。
全体的に、加算的な解決策が選択される傾向が強かった。ただし、この傾向はGPT-4の方が人間よりも強かった。
解決効率の操作では、人間は減算が効率的な場合に加算的解決策を選択する傾向が低下したが、GPT-4では逆の傾向が見られた。
指示の価値の操作では、GPT-4は「改善する」という肯定的な指示の下で加算的解決策を選択する傾向が高まったが、人間では影響がみられなかった。
GPT-4は、対称性の達成や要約の作成といったタスクの目標を達成することが困難であった。これは、言語モデルの推論能力の限界を示唆している。
以上の結果から、人間とGPT-4では加算バイアスの発現に違いがあり、GPT-4の方がより加算バイアスに影響されやすいことが明らかになった。また、人間の認知プロセスとは異なる言語モデルの特性が示された。
Stats
全体的に、加算的な解決策が64.4%、減算的な解決策が35.6%選択された。
人間はGPT-4よりも加算的解決策を選択する傾向が低かった(57.0% vs. 70.7%)。