マルチモーダル表現学習

Logg Inn

innsikt - マルチモーダル表現学習

RankByGene：クロスモーダルランキングの一致性による遺伝子ガイドの組織病理学的画像表現学習

本稿では、空間トランスクリプトミクスデータと組織病理学的画像のロバストかつスケーラブルな整合を実現する新しいフレームワーク、RankByGeneを提案する。これは、遺伝子発現の類似性ランキングを画像特徴量の学習に組み込むことで、より正確な遺伝子情報に基づく画像表現を学習し、遺伝子発現予測や生存分析などの下流タスクの性能向上に貢献する。

適応グラフ構築を用いたマルチモーダル表現学習：任意のモダリティ数への汎用化

本稿では、任意の数のモダリティからの表現学習を可能にする、適応的なグラフ構築を用いた新しいマルチモーダル対照学習フレームワーク「AutoBIND」を提案する。

マルチモーダル対照学習における最適な特徴量の選択

マルチモーダル対照学習では、単一のモーダリティ間の冗長な情報のみを学習するのではなく、モーダリティ間の固有の情報やシナジー情報も同時に学習する必要がある。本研究では、CoMMと呼ばれる新しいマルチモーダル対照学習手法を提案し、これらの異なるタイプの情報を効果的に捉えることができることを示した。

脳のインスピレーションからの強化学習ポリシーのゼロショットクロスモーダル転送を通じたグローバルワークスペース

脳のグローバルワークスペース理論に基づいたマルチモーダル表現は、強化学習エージェントにおけるゼロショットクロスモーダルポリシー転送を可能にする。

Produkter

Ressurser