本研究では、大規模言語モデルの内部パラメトリックメモリ、外部構造化知識、外部非構造化知識の3つの知識源を統合的に活用する半構造化チェーン思考法を提案している。
まず、大規模言語モデルを用いて入力質問を半構造化された推論チェーンに変換する。このチェーンには、埋めるべきマスクが含まれている。次に、エンティティリンキングやリレーションリンキングのモデル、ドキュメントリトリーバーを活用して、これらのマスクを外部知識源から順次埋めていく。最後に、大規模言語モデルのパラメトリックメモリを活用して、残りのマスクを埋める。
この手法により、大規模言語モデルが単独で推論を行う従来手法と比べて、知識集約型タスクにおける推論能力が大幅に向上する。特に、マルチホップ質問応答タスクでは、既存の最先端手法を大きく上回る性能を示している。
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Xin Su,Tiep ... kl. arxiv.org 04-03-2024
https://arxiv.org/pdf/2311.08505.pdfDybere Forespørgsler