大規模言語モデルの心理測定的予測力

核心概念

命令チューニングは大規模言語モデルの人間らしさを必ずしも高めるわけではない。むしろ、命令チューニングされた大規模言語モデルは、単純な確率測定よりも人間の読解行動をうまくシミュレートできない。

摘要

本研究では、命令チューニングされた大規模言語モデル(IT-LLM)と、ベースの大規模言語モデル(base LLM)の、人間の読解行動のシミュレーション能力を比較した。

具体的には以下の点が明らかになった:

1. IT-LLMは、ベースのLLMよりも人間の読解行動の予測力が低い場合が多い。命令チューニングは必ずしも人間らしさを高めるわけではない。

2. プロンプティングを用いることで、IT-LLMの人間の読解行動の予測力を向上させることができる。特に、文法的・語彙的に単純なプロンプトが効果的である。これは、人間の「良い加減な処理」を反映しているかもしれない。

3. メタ言語的なプロンプティングは、直接の確率測定よりも人間の読解行動の予測力が低い。LLMは自身の出力確率を正確に認識できていないようだ。

全体として、命令チューニングやプロンプティングの最新の進歩にもかかわらず、単純な確率測定がまだ人間の読解行動をよりよく模擬できることが示された。

统计

人間の読解時間は単語の予測困難さ(サプライザル)と正の相関がある。

引用

なし

从中提取的关键见解

Psychometric Predictive Power of Large Language Models

by Tatsuki Kuri... 在 arxiv.org 04-04-2024

https://arxiv.org/pdf/2311.07484.pdf

更深入的查询

人間の読解行動をより良くシミュレートするためには、どのような言語モデルの設計や学習方法が必要だろうか。

人間の読解行動をシミュレートするためには、言語モデルの設計や学習方法に注意を払う必要があります。まず、言語モデルは次の単語の予測において人間の読解行動をより正確に反映するように設計される必要があります。言語モデルが人間の読解行動をシミュレートするためには、次の単語の予測が人間の認知負荷と関連していることが重要です。そのため、言語モデルの設計においては、次の単語の予測と読解時間の関連性を重視することが重要です。さらに、言語モデルの学習方法においては、人間の読解行動に基づいたフィードバックを活用することで、より正確な予測を行うことができるでしょう。