Omnia Alwazzanらは、異なるモダリティからの特徴を結合するために外部算術演算子(加算、減算、積、除算)を使用するFOAAという新しいアテンションメカニズムを提案しています。この手法は自己アテンションとクロスアテンションに実装でき、ニューラルネットワークアーキテクチャで再利用可能です。彼らはマルチモーダル腫瘍分類の2つのデータセットでFOAAを評価し、最先端の結果を達成しました。また、他の融合手法よりも優れた特徴を示すことも示しています。この研究は画像診断や予後予測など医療領域での分類タスクに応用される可能性があります。
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Omnia Alwazz... a las arxiv.org 03-12-2024
https://arxiv.org/pdf/2403.06339.pdfConsultas más profundas