本論文は、大規模言語モデル(LLM)を用いたゼロショット型オープンドメインQA(ODQA)に関する研究である。
まず、LLMに対してステップバイステップのプロンプティングを行い、背景情報付きの擬似的なQAペアとその説明文を自動生成させる。この生成されたデータを利用して、クラスタリングに基づく動的な例示選択手法を提案し、インコンテキスト学習を行う。
実験の結果、提案手法は、直接プロンプティングや先行研究の手法を大幅に上回る性能を示し、一部の教師あり学習モデルと同等の性能を達成した。さらに分析を通して、生成されたデータの品質や、インコンテキスト学習における例示の選択方法、入力フォーマットの影響などを明らかにした。
本手法は、LLMの内在する知識とインストラクション理解能力を効果的に引き出し、ゼロショット型ODQAの性能を大幅に向上させることができる。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Junlong Li,J... at arxiv.org 03-29-2024
https://arxiv.org/pdf/2212.08635.pdfDeeper Inquiries