本研究では、大規模言語モデルの内部パラメトリックメモリ、外部構造化知識、外部非構造化知識の3つの知識源を統合的に活用する半構造化チェーン思考法を提案している。
まず、大規模言語モデルを用いて入力質問を半構造化された推論チェーンに変換する。このチェーンには、埋めるべきマスクが含まれている。次に、エンティティリンキングやリレーションリンキングのモデル、ドキュメントリトリーバーを活用して、これらのマスクを外部知識源から順次埋めていく。最後に、大規模言語モデルのパラメトリックメモリを活用して、残りのマスクを埋める。
この手法により、大規模言語モデルが単独で推論を行う従来手法と比べて、知識集約型タスクにおける推論能力が大幅に向上する。特に、マルチホップ質問応答タスクでは、既存の最先端手法を大きく上回る性能を示している。
To Another Language
from source content
arxiv.org
Principais Insights Extraídos De
by Xin Su,Tiep ... às arxiv.org 04-03-2024
https://arxiv.org/pdf/2311.08505.pdfPerguntas Mais Profundas