LLMの社会的知能についての包括的な評価と結果

Core Concepts

LLMの社会的知能は、学術的知能とは異なることが示された。

Abstract

この記事では、大規模言語モデル（LLMs）の学術的知能が向上している一方で、その社会的知能については不明瞭であることが指摘されています。Daniel Goleman氏の社会的知性理論に着想を得て、実世界の社会シナリオに基づいた標準化された社会的知性テスト「Situational Evaluation of Social Intelligence (SESI)」が開発されました。13種類の人気かつ最先端のLLMエージェントをSESIで評価した結果、LLMsの社会的知性にはまだ改善すべき余地があり、主な誤り原因として表面上友好性が挙げられました。さらに、LLMsの社会的知性と学術的知性との間には比較的低い相関関係があり、それぞれ異なる形態の知性であることが示唆されました。
Introduction

LLMsの学術的成功と社会的挑戦
人間の社会的インテリジェンス理論からインスピレーションを受けたSESI開発
Methodology

LLMエージェントへの影響要因（パーソナリティ、感情、ジェンダー、役割）を探求
Results

LLMエージェントにおけるパーソナリティや感情など要素ごとの影響分析結果
Conclusion

SESIベンチマークは他ベンチマークよりも長く複雑で多様なソーシャルコンテキストを提供

Stats

大規模言語モデル（LLMs）13種類をSESIで評価した結果を示す。

Quotes

Key Insights Distilled From

Academically intelligent LLMs are not necessarily socially intelligent

by Ruoxi Xu,Hon... at arxiv.org 03-12-2024

https://arxiv.org/pdf/2403.06591.pdf

Deeper Inquiries

人間と同様に、LLMエージェントの社会的インテリジェンスはどんな要素に影響を受ける可能性がありますか？

人間と同様に、LLM（Large Language Models）エージェントの社会的インテリジェンスは複数の要素に影響を受ける可能性があります。この研究から得られた洞察を元に考えると、以下のような要素が重要であると言えます。

個性：Big Fiveパーソナリティ特性（外向性、協調性、誠実さ、神経質さ、開放度）は社会的インテリジェンスに影響する可能性があります。例えば、外向型のLLMエージェントは高い社会的インテリジェンスを示す傾向があるかもしれません。

感情：感情状態（退屈や不安など）は認知能力や行動への影響を持つことが知られており、LLMエージェントも同様です。感情状態が変化することで社会的判断力や行動への影響も変わってくるでしょう。

性別：男女差や中立的な視点から見た場合でも異なる反応や意思決定パターンが現れる可能性があります。これは人間だけでなくLLMエージェントにも当てはまりそうです。

役割：職業上または個人関係上の役割（家族関係や仕事関係）も重要です。特定の役割へのアサインメントが社会的判断力やコミュニケーション能力に与える影響を理解することも重要です。

視点：第三者視点と第二者視点では意思決定プロセスやコミュニケーション方法に違いが生じる可能性があります。これら異なった視点から問題を捉えた際の違いも考慮すべきです。

以上述べたような多岐に渡る因子から成されていることから、「Social Intelligence」自体複雑かつ多面的であることを示唆しています。