Views Are My Own, But Also Yours: Benchmarking Theory of Mind using Common Ground

Core Concepts

言語モデルのToM能力を評価するための新しいCOMMON-TOMデータセットが導入されました。

Abstract

最近、言語モデル（LMs）の心の理論（ToM）能力を評価することに注目が集まっています。多くの既存のベンチマークは合成データに依存しており、これは結果として実験を人間の行動と一致させるリスクがあります。本稿では、自然発生的な会話に基づいた初めてのToMデータセットであるCOMMON-TOMを紹介し、LMsがToMを示すことに苦労していることを示します。また、信念の単純で明確な表現を統合することで、COMMON-TOM上でのLMsパフォーマンスが向上することを示します。これらの貢献は以下です：（1）合成データを使用してLMsのToM能力について議論することは決定的ではないと主張すること；（2）自然発生的な会話に基づいたToMベンチマーク用コーパスを公開すること；（3）LLMsが当社のベンチマークで苦戦し、単純な明示的アーキテクチャがより良いパフォーマンスを発揮することを示すこと。

Stats

COMMON-TOMは自然発生的な英語会話に基づく質問応答ベンチマークです。
ToM-bAbiやToMiなど他のベンチマークも作成されています。
GPT-4はゼロショット実験で最高のパフォーマンスを発揮しました。
ReCoGシステムは他のすべてのシステムよりも優れた性能を示しました。

Quotes

"Successful human conversation is possible only because participants model each others’ cognitive states (i.e., ToM) and plan utterances based on their intended audience."
"We introduce the first ToM dataset based on naturally occurring spoken dialogs, COMMON-TOM, and show that LMs struggle to demonstrate ToM."
"Our main contributions are: (1) arguing that using synthesized data in arguing about the ToM ability of LMs is not conclusive; (2) releasing a corpus for benchmarking ToM based on naturally occurring spoken conversations; (3) showing that LLMs struggle with our benchmark and a simple explicit architecture performs better."

Key Insights Distilled From

Views Are My Own, But Also Yours

by Adil Soubki,... at arxiv.org 03-06-2024

https://arxiv.org/pdf/2403.02451.pdf

Deeper Inquiries

人間以外でもこのToM評価方法は有効ですか

このToM評価方法は、人間以外のエージェントにも有効である可能性があります。研究では、言語モデルを使用してToM能力を評価しましたが、他のエージェントやAIシステムにも同様のアプローチを適用することができます。例えば、ロボットやバーチャル・エージェントなどのコンピューター・プログラムに対しても同様のToM評価手法を適用することで、その理解力や相互作用能力を測定し向上させることが可能です。

言語モデルだけでなく人間も同様にToM能力に苦労していますか

研究結果から明らかなように、言語モデルだけでなく人間もToM能力に苦労しています。特に高次の信念理解（second order, third order beliefs）では人間でも課題が生じる傾向があります。これは一般的な会話やコミュニケーション時において他者の心的状態を正確に把握することが容易ではないためです。したがって、ToM能力は言語モデルだけでなく人間自身も含めて重要なスキルであり、その向上は個人またはAIシステムの相互作用およびコミュニケーション能力向上につながります。

この研究から得られる知見は他分野へどう応用できますか

この研究から得られる知見は他分野へ幅広く応用される可能性があります。例えば以下のような分野へ応用することが考えられます：

教育: ToM理解度を測定し教育プログラムや学習支援システムを改善するため。
心理学: トレーニングや治療法開発へToM理論を活用し精神医学領域へ貢献。
AI開発: 言語処理技術やチャットボット設計時に相手方思考（Theory of Mind）要素導入。
コンピュータサイエンス: ソフトウェア開発時の意図推論技術強化および自律型AI開発支援。
これら以外でも情報科学から社会科学まで多岐にわたり利益提供可能性大です。