欠損モダリティを含む深層学習マルチモーダル学習に関する包括的な調査

マルチモーダルモデルの訓練と推論中、データサンプルの一部のモダリティが欠落することがあり、これにより、センサーの制限、コスト制約、プライバシーの懸念、データ損失、時間的および空間的要因などのために、モデルのパフォーマンスが低下する。この調査では、深層学習手法に焦点を当てて、欠損モダリティを含むマルチモーダル学習(MLMM)の最近の進展について概説する。