本研究は、マルチモーダル知識グラフ(MMKG)の表現学習における課題に取り組んでいる。従来のMMKGC手法は、エンティティレベルでのマルチモーダル融合に焦点を当ててきたが、関係性に応じたモダリティ情報の活用が十分ではなかった。
本研究では、関係性に応じたモダリティ知識専門家(ReMoKE)を提案している。ReMoKEでは、各モダリティに複数の専門家ネットワークを構築し、現在の関係性に応じて適応的にモダリティ埋め込みを生成する。さらに、マルチモーダル統合決定(MuJoD)モジュールを導入し、各モダリティの予測を統合して最終的な三つ組の妥当性を判断する。
また、専門家間の相互情報量を最小化するExIDモジュールを提案し、専門家間の情報を分離することで、より多様な視点からのエンティティ表現を学習できるようにしている。
実験の結果、提案手法MOMOK(Mixture of Modality Knowledge experts)は、4つの公開MMKGベンチマークデータセットにおいて、最先端の性能を達成している。特に、ノイズや欠損のある複雑な環境下でも頑健な性能を示している。さらに、ケーススタディの分析から、本手法の合理性と解釈可能性も確認できた。
Egy másik nyelvre
a forrásanyagból
arxiv.org
Mélyebb kérdések