本論文は、大規模言語モデル(LLM)を用いた知識グラフ補完(KGC)の性能向上に取り組んでいる。
まず、既存のLLMパラダイムであるゼロショット推論(ZSR)、文脈学習(ICL)、命令微調整(IT)に着目し、これらにKG構造情報を組み込む方法を提案している。
次に、より効果的な手法として、知識プレフィックスアダプター(KoPA)を提案している。KoPAは以下の2つのステップで構成される:
これにより、LLMがKG構造情報を理解し、より正確な推論を行えるようになる。
実験の結果、KoPAは既存手法と比べて優れた性能を示し、特に未知の実体に対する汎化性も高いことが確認された。
また、KoPAの事前学習された構造的埋め込みがLLMの一般的な能力の向上にも寄与することが示された。
Para outro idioma
do conteúdo fonte
arxiv.org
Principais Insights Extraídos De
by Yichi Zhang,... às arxiv.org 04-16-2024
https://arxiv.org/pdf/2310.06671.pdfPerguntas Mais Profundas