Sign In
insight - マルチモーダル学習
マルチモーダル人間意図理解の偏見解消に向けた取り組み
主題：マルチモーダル人間意図理解の偏見を解消するための新しい手法であるSuCIが提案されました。
多様なモーダル統合表現の潜在能力を引き出すためのトレーニングフリーコードブック最適化と階層的アライメント
DCIDとH-DCIDの効果的な組み合わせにより、トレーニングフリー最適化がモデルパフォーマンスを向上させることが示されました。
多様体学習を用いたストレス検出のためのマルチモーダル中間融合ネットワーク
多様体学習を活用した中間融合ネットワークがストレス検出において高い精度を達成することが示されました。
スパイクCLIP:対照言語-画像事前学習スパイキングニューラルネットワーク
スパイキングニューラルネットワーク(SNN)を用いて、言語と視覚の特徴を統一的な表現形式であるスパイク列に統合し、マルチモーダルタスクにおける性能を従来のANNと同等レベルまで引き上げる。
マルチモーダル学習におけるマルチロス勾配変調を用いた改善
マルチモーダル学習において、各モダリティの学習速度を動的に調整する新しいバランス手法である「マルチロス勾配変調」を導入することで、モデルの精度が向上する。
バランスの取れたマルチモーダル学習のためのオンザフライ変調
マルチモーダル学習における、異なるモダリティ間の学習の不均衡を解消するために、動的に各モダリティの最適化を制御するオンザフライ変調手法を提案する。
クロスモーダル理解を用いた大規模マルチモーダルモデルの事前学習：Croc
LLMの視覚的な理解能力を高めるために、クロスモーダル理解を用いた新しい事前学習パラダイムを提案する。
チャットと意思決定を同時に行うための事前学習済みマルチモーダルモデルの構築方法
人間のように、テキストによる対話と複雑な意思決定を同時に行うことができる事前学習済みマルチモーダルモデルVLA4CDを構築する方法とその有効性を示します。
大規模マルチモーダルモデルによる視覚言語タスクと視覚中心タスクの統合：Griffon-G
本稿では、視覚言語タスクと視覚中心タスクの両方を単一のエンドツーエンドパラダイム内で処理できる汎用大規模マルチモーダルモデルであるGriffon-Gを提案する。
因子分析潜在空間を用いたマルチモーダル階層型変分オートエンコーダ
本稿では、解釈可能性、柔軟性、モジュール性に優れたマルチモーダルデータ処理のための新しい深層階層VAEモデルであるFA-VAEを提案する。