核心概念
大規模言語モデルの知識グラフ補完性能を向上させるために、知識グラフの構造情報を効果的に取り入れる方法を提案する。
要約
本論文は、大規模言語モデル(LLM)を用いた知識グラフ補完(KGC)の性能向上に取り組んでいる。
まず、既存のLLMパラダイムであるゼロショット推論(ZSR)、文脈学習(ICL)、命令微調整(IT)に着目し、これらにKG構造情報を組み込む方法を提案している。
次に、より効果的な手法として、知識プレフィックスアダプター(KoPA)を提案している。KoPAは以下の2つのステップで構成される:
- KGの構造情報をエンコードした構造的埋め込みを事前学習する
- この構造的埋め込みをテキスト表現空間にマッピングし、入力系列の先頭にプレフィックスとして付加する
これにより、LLMがKG構造情報を理解し、より正確な推論を行えるようになる。
実験の結果、KoPAは既存手法と比べて優れた性能を示し、特に未知の実体に対する汎化性も高いことが確認された。
また、KoPAの事前学習された構造的埋め込みがLLMの一般的な能力の向上にも寄与することが示された。
統計
知識グラフは三つ組(ヘッド実体、関係、テール実体)で表現される
知識グラフには観測されていない三つ組が多数存在し、これを予測する課題が知識グラフ補完(KGC)である
大規模言語モデル(LLM)を用いたKGCでは、LLMの事実知識の不足や知識グラフの構造情報の活用不足が課題となっている
引用
"LLMsは深い事実知識と精度を欠いており、しばしば幻覚[48]の問題に陥る。"
"知識グラフの複雑な構造情報(サブグラフ構造、関係パターン、関連する実体/関係)は、しばしば見過ごされている。"
"この豊かな非テキスト構造情報を適切に取り入れることができれば、LLMの理解と表現を大幅に向上させることができる。"