極端に長い文脈理解と長距離依存関係のためのベンチマーク「XL2Bench」

Core Concepts

XL2Benchは、極端に長いテキストの理解と長距離依存関係を評価するための包括的なベンチマークである。3つのシナリオ、4つのタスク、27のサブタスクで構成され、平均100K+単語(英語)、200K+文字(中国語)の長さを持つ。

Abstract

XL2Benchは、以下の3つのシナリオで構成されている:

小説読解
論文読解
法律文書読解

各シナリオには以下の4つのタスクが設定されている:

メモリ検索: 与えられた指示に基づいて、テキスト内の関連コンテンツを正確に検索・抽出する能力を評価する。
詳細理解: テキストを包括的に理解し、要約や質問回答などの活動を行う能力を評価する。
全体理解: テキスト全体の理解に基づいて、テーマや登場人物の描写など、高次の理解を要する質問に答える能力を評価する。
オープンエンド生成: テキストの理解に基づいて、キャラクターの役割演技やニュース記事の生成などの創造的な拡張と推論を行う能力を評価する。

XL2Benchは、データ汚染の問題に対処するため、テキスト変換、キー情報置換、テキスト連結の3つの手法を用いて拡張データセットを構築している。

Stats

小説の主人公は80日間魚を釣れずに困難な状況に置かれていた。
漁師たちは、老人が釣り上げた巨大なマグロの骨格を驚いて見ていた。その骨格は18フィートもあった。
老人は、長期の不漁にもかかわらず、最終的に巨大なマグロを釣り上げることができた。

Quotes

"彼は18フィートもあった。"
"彼は今や完全に、そして最終的にsalaoだと、つまり最悪の不運な状態にあると、少年の両親は言っていた。"

Key Insights Distilled From

XL$^2$Bench

by Xuanfan Ni,H... at arxiv.org 04-09-2024

https://arxiv.org/pdf/2404.05446.pdf

Deeper Inquiries

長期の不漁にもかかわらず、老人がなぜ最終的に巨大なマグロを釣り上げることができたのか?

この小説の物語では、老人であるサンチャゴは、長い間魚を釣ることができずに不運に見舞われています。80日間も魚を捕まえられなかったことで、地元の漁師たちは彼を「salao（最悪の不運）」と考えています。しかし、老人はそれでも85日目に勇気を出して釣りに出かけ、驚くほどの大きさのマグロを捕まえます。この不屈の精神が、彼を他の人々と区別するものです。

老人の不運な状況に対する地域の人々の反応は、物語の中でどのように描かれているか?

物語の中で、老人であるサンチャゴが長い間魚を捕まえられない状況にあることが地域の人々によって認識されています。彼が「salao（最悪の不運）」と見なされ、他の漁師たちもその状況を驚きと同情の目で見ています。しかし、老人が最終的に成功を収めると、彼に対する見方も変わり、彼の勇気と不屈の精神を称賛するようになります。

この小説の主人公の精神性や人格的特徴は、どのように長期的な視点から描かれているか?

主人公であるサンチャゴは、長期的な視点から見ると、彼の不屈の精神と決断力が際立って描かれています。彼は長い間魚を捕まえられない状況にある中でも、決して諦めずに釣りに出かけ続けます。彼の精神的な強さや困難に立ち向かう姿勢が、物語全体を通じて強調され、読者に彼のキャラクターをより深く理解させる役割を果たしています。