Khái niệm cốt lõi
マルチモーダル情報を活用して、新しく発見された関係の表現を学習する。
Tóm tắt
本論文は、マルチモーダル知識グラフにおけるゼロショット関係学習に取り組んでいる。
- 従来の関係学習手法は、関係に関する十分なトリプルデータが必要であったが、新しく発見された関係にはそのようなデータがない。
- 本手法では、エンティティの視覚、テキスト、構造情報を統合的に活用することで、新しい関係の表現を学習する。
- 具体的には、以下の3つのモジュールから構成される:
- マルチモーダルラーナー: 視覚と言語の情報を融合し、潜在的な相関を学習する。
- 構造コンソリデーター: グラフ構造の情報を統合し、多様なモダリティの表現を精緻化する。
- 関係埋め込み生成器: 敵対的学習に基づいて、新しい関係の表現を生成する。
- 実験結果から、提案手法がベースラインと比べて優れた性能を示すことが確認された。
Thống kê
新しい関係の表現を学習するためには、既存の関係に関するトリプルデータが必要ない。
提案手法は、マルチモーダル情報を活用することで、新しい関係の表現を効果的に学習できる。
Trích dẫn
"マルチモーダル知識グラフ(MMKGs)には豊富なマルチモーダル情報が含まれており、多くのタスクに有用である。"
"新しく発見された関係には関連するトリプルデータがないため、従来の手法では適切に表現を学習できない。"
"本手法では、マルチモーダル情報とグラフ構造を統合的に活用することで、新しい関係の表現を効果的に学習できる。"