多様なエンティティ対と視覚情報を統合する変分マルチモーダルハイパーグラフ注意ネットワークによるマルチモーダル関係抽出

提案手法は、マルチモーダルハイパーグラフを構築し、変分ハイパーグラフ注意ネットワークを用いて、エンティティ対と関連する視覚情報の複雑な高次相関を効果的にモデル化し、マルチモーダル関係抽出の性能を大幅に向上させる。