Core Concepts
自動選択のためのDual QueriesとLow-rank近似再ランキングを活用するフレームワーク、DQ-LoReは、GPT-4の例示物の自動選択において優れたパフォーマンスを発揮します。
Abstract
最近の自然言語処理の進歩は、大規模言語モデル(LLMs)によって主導されており、コンテキスト内学習に基づくタスクでGPT-4などが高い性能を示しています。DQ-LoReは、CoTを考慮した入力質問と例示物からなるデュアルクエリを組み合わせ、PCAを使用して埋め込みから冗長情報を取り除き、最終的な例示物を再ランキングします。この手法は異なる例示物間の区別能力を向上させます。実験結果では、DQ-LoReが既存手法を上回り、特に分布シフトシナリオで顕著な効果を示しました。
Stats
DQ-LoReはGPT-4の性能を92.5%から94.2%に向上させました。
Quotes
"DQ-LoReはGPT-4の例示物選択において優れたパフォーマンスを発揮します。"
"DQ-LoReは異なるシナリオでの堅牢性と汎用性を強調します。"