Concepts de base
LLMを使用したSCRIPTモードは、人間の社会的相互作用を過大評価しており、AGENTSモードとの差異が明らかになった。
Résumé
最近の大規模言語モデル(LLM)による社会的シミュレーションの進歩に焦点を当て、SCRIPTとAGENTSモードの違いを検証。SCRIPTは情報非対称性を無視し、AGENTSは自然な対話や目標達成に苦労していることが示された。さらに、SCRIPTから学習することで目標達成率が向上するものの、自然さや実際的な戦略面で問題が生じることが明らかになった。
Stats
40個のキャラクターが90種類の多様な社会シナリオで相互作用するSotopiaフレームワークを使用。
SCRIPTモードでは全情報へアクセス可能だが、AGENTSモードでは情報非対称性があり各エージェントごとに情報へアクセス制限。
SCRIPTから学習した結果、AGENTSで目標達成率は向上したものの、依然としてSCRIPTよりも低い。
Citations
"SCRIPT生成されたインタラクションは成功感が異なります。エージェントは相手参加者の知識へ完全アクセスし、この情報を直接利用してインタラクションを省略します。"
"SCRIPT生成されたインタラクションは自然な対話よりも高度です。"