核心概念
本論文では、多様な知識グラフ(KG)に対する汎用的な推論能力を実現するために、インコンテキスト学習を用いたプロンプトベースのKG基盤モデルを提案する。
要約
知識グラフのインコンテキスト推論:プロンプトベース基盤モデル
本論文は、異なる知識グラフ(KG)間での知識転移と汎用的な推論能力を実現する、インコンテキスト学習を用いた新しいKG基盤モデル、KG-ICLを提案する。
知識グラフ(KG)は、様々なシナリオにおいて知識駆動型タスクを促進するために構築されてきた。しかし、既存の研究では、異なるKGに対して別々の推論モデルを開発することが多く、多様なKGや推論設定にわたって知識を一般化し、転移させる能力に欠けていた。
本論文では、この課題に対処するため、インコンテキスト学習を用いたプロンプトベースのKG基盤モデル、KG-ICLを提案する。
プロンプトグラフの生成
KG-ICLは、クエリ関係に関する知識転移の橋渡しとして、プロンプトグラフと統一トークナイザを用いる。まず、クエリ関係について、いくつかの事実を例としてランダムにサンプリングする。次に、各サンプル事実に対してKGから部分グラフを抽出し、プロンプトグラフを構築する。プロンプトグラフは、サンプルの主語エンティティとオブジェクトエンティティの隣接エンティティ、およびそれらの間のパスを含む。
プロンプトのエンコーディング
プロンプトグラフのエンコーディングには、メッセージパッシングニューラルネットワークを使用する。まず、与えられたプロンプトグラフ内のエンティティとリレーションのトークン表現を初期化する。次に、プロンプトグラフをエンコードするために、複数層のメッセージパッシングニューラルネットワークを使用する。最後に、プロンプト表現を得るために、リードアウトサブモジュールを導入する。
インコンテキストKGエンコーディングと推論
プロンプトのエンコーディングに基づいて、KG上で推論を行う。KGに依存しないエンコーディングを実現するために、条件付きメッセージパッシングニューラルネットワークから着想を得て、新しいKG推論モジュールを提案する。このモジュールは、エンティティを特定の埋め込みにマッピングするのではなく、クエリに基づいてエンコードするため、多様なKG間での知識転移が可能になる。