大規模言語モデルの長文処理における失敗：Transformerは理解しているのに伝えない現象

大規模言語モデルは長文の入力、特に中盤以降の情報を利用する際に、位置バイアスの影響を受けやすい。プロービング分析の結果、モデルは重要な情報の位置を内部的には捉えているものの、回答生成に効果的に活用できていない「理解しているのに伝えない」現象が明らかになった。