マルチモーダル特徴融合

画像、テキスト、ビデオの特徴を統合するための学習可能なグラフ演算子

本論文では、グラフベースの特徴融合手法「LEGO融合」を提案する。この手法は、異なるモダリティ、表現、ドメインの特徴を統合するために、関係グラフを構築し、グラフ累乗を用いて複雑な相互作用をモデル化する。さらに、学習可能なグラフ融合演算子を導入し、特徴間の関係を動的に重み付けすることで、より効果的な融合を実現する。

マルチモーダル大規模言語モデルにおける細かな画像理解のための多層特徴融合手法：MMFuser

画像、テキスト、ビデオの特徴を統合するための学習可能なグラフ演算子