Omnia Alwazzanらは、異なるモダリティからの特徴を結合するために外部算術演算子(加算、減算、積、除算)を使用するFOAAという新しいアテンションメカニズムを提案しています。この手法は自己アテンションとクロスアテンションに実装でき、ニューラルネットワークアーキテクチャで再利用可能です。彼らはマルチモーダル腫瘍分類の2つのデータセットでFOAAを評価し、最先端の結果を達成しました。また、他の融合手法よりも優れた特徴を示すことも示しています。この研究は画像診断や予後予測など医療領域での分類タスクに応用される可能性があります。
To Another Language
from source content
arxiv.org
ข้อมูลเชิงลึกที่สำคัญจาก
by Omnia Alwazz... ที่ arxiv.org 03-12-2024
https://arxiv.org/pdf/2403.06339.pdfสอบถามเพิ่มเติม