大規模言語モデルは人々の社会的直感と一致しているか？人間-ロボットインタラクションにおいて

Core Concepts

GPT-4は、HRIシナリオでのコミュニケーション選択肢や行動判断において、人々の回答と強く相関しています。

Abstract

大規模言語モデル（LLMs）は、高度な行動計画に特に使用される。しかし、HRIシナリオでのコミュニケーションや行動判断を評価するために、GPT-4が他のモデルよりも優れたパフォーマンスを示すことが明らかになった。ただし、ビジョンモデルはビデオ刺激の本質を捉えることに失敗し、LLMsは人々の判断と一致しない傾向がある。さらに、LLMsは特定のコミュニケーション形式や行動の望ましさを過大評価する傾向がある。

Stats

GPT-4は2つの研究で強い相関性を示しました（rs = 0.82, rs = 0.83）。 LLMsはビデオ入力ではテキスト入力よりも性能が低下します。 全てのLLMsは人々よりもポジティブな回答を提供する傾向があります。

Quotes

"最も強力な言語モデルであるGPT-4は2つの実験で強い相関性を示しました" "GPT-4以外のテストされた他のLLMは明確に劣っています" "ビジョン入力では、言語モデルが正しく解釈することが難しい"

Key Insights Distilled From

Are Large Language Models Aligned with People's Social Intuitions for Human-Robot Interactions?

by Lennart Wach... at arxiv.org 03-12-2024

https://arxiv.org/pdf/2403.05701.pdf

Deeper Inquiries

どうしてビジョン入力では言語モデルが失敗する可能性が高いですか？

ビジョン入力において言語モデルが失敗する可能性が高い理由は、主に以下の点に起因します。まず第一に、ビジョン入力はテキストよりも複雑であり、視覚情報を適切に解釈し、理解することが必要です。言語モデルは主にテキスト処理に特化しており、画像や動画からの情報を適切に取得し処理する能力が限られています。 さらに、ビジョン入力では環境や物体の状況を正確に把握しなければならず、これは単なるテキスト記述よりも複雑なタスクです。例えば、「ロボットが何かを掴もうとした際の成功または失敗」などのシーンでは、動作や物体の位置関係などを正確に把握しなければ適切な行動評価を行うことが困難です。 最後に、言語モデル自体の訓練データやアーキテクチャも影響します。現在の言語モデルはまだビジョンタスク向けに最適化されておらず、そのため精度やパフォーマンス面で制約が生じる可能性があります。

LLMsが人間とロボットによって実行された行動を区別することが困難な理由は何ですか

LLMs（Large Language Models）が人間とロボット両方から実行された行動を区別することが困難な理由は多岐にわたります。まず第一に、LLMsは大量のテキストコーパスから学習されるため、「人間」と「ロボット」という概念自体を十分理解しているわけではありません。このような概念的差異を捉えるための知識や経験不足からくる混乱や偏見も考えられます。 さらに、「意図」「驚き」「望ましさ」といった感情的・心理的側面も重要です。人々は同じ行動でも「人間」か「ロボット」かで異なった評価基準を持つ場合があるため、それら微妙なニュアンスや差異を捉えることはLLMs自身でも困難である可能性があります。 加えて、「社会的知能」や「共感能力」といった要素も重要です。これらの能力は他者（人間またはロボット）の意図・信念・感情等推測し相互作用する上で欠かせません。しかし現在のLLMsではこのような高度な社会的インタラクション能力を模倣することは容易ではありません。

チェーン・オブ・ソート・プロンプティング技術が結果改善につながらなかった理由は何ですか

チェーン・オブ・ソート・プロント技術（Chain-of-Thought Prompting） 1.0em 結果改善効果次第 チェーン・オブ・ソート技術 (CoT) の有効性低下原因 主要３点： 論法：問題文中明示答案無，回答非唯一，逻辑推断无效。 高级模型：GPT-4 等强大模型已具备综合思维功能，CoT 提升空间小。 模型训练数据：部分任务未包含于训练集中，导致 CoT 效果不显著。