Core Concepts
R&Rメソッドは、長文書ベースのQAにおける「中途で迷子」効果を軽減し、精度とコストのトレードオフを緩和します。
Abstract
この記事では、長文書ベースのQAタスクにおけるR&Rメソッドの効果が検証されました。結果は、「中途で迷子」現象が存在し、R&Rがこの効果を軽減することが示されました。さらに、チャンク単位でのアプローチと比較して、R&Rは精度低下を最小限に抑えつつコスト削減を可能にします。将来的な研究では、他のタスクへの応用やアーキテクチャ変更への影響も検討されます。
Stats
R&R方法は平均でQA精度を16ポイント向上させた。
GPT-4 TurboとClaude-2.1では80kトークンまでの文書でテストされた。
ICRフェーズ1では最大5つのページ番号を取得し、フェーズ2では略語化された文脈でQAが行われた。
Quotes
"Remember, your task is to answer the following question based on this document and no additional extraneous information."
"We propose reprompting, where we first construct a block of the form containing the original instructions almost verbatim."
"Our results suggest that our method R&R can indeed be helpful to extend the context length at which LLMs operate effectively for document-based QA."