本研究は、大規模言語モデルが事前学習中に獲得した知識の出典を明示する手法を提案している。
まず、事前学習段階では、各文書に固有の識別子を付与し、言語モデルがその識別子と文書内容の関連を学習するようにする。次に、指示チューニング段階では、質問に対する回答とともに、その回答を支持する文書の識別子を生成するよう訓練する。
実験では、合成の人物伝記データセットを用いて、この手法の有効性を確認した。結果、事前学習時の文書識別子の挿入方法によって、モデルの知識源明示能力と言語モデルの質のトレードオフが異なることが分かった。特に、文書末尾への識別子挿入とチェーン思考の組み合わせが、良好なパフォーマンスを示した。
また、データ拡張の重要性も明らかになった。文書レベルの拡張を行うことで、訓練時に見ていない文書に対しても、知識源の明示が可能になった。
本研究は、大規模言語モデルの透明性と信頼性を高める新しい手法を提案しており、今後の言語モデル開発に大きな示唆を与えるものと考えられる。
Ke Bahasa Lain
dari konten sumber
arxiv.org
Wawasan Utama Disaring Dari
by Muhammad Kha... pada arxiv.org 04-02-2024
https://arxiv.org/pdf/2404.01019.pdfPertanyaan yang Lebih Dalam