マルチモーダル表現の最適化に向けた新しいアプローチ
固定アンカーを使用するバインド手法には重大な限界があり、それらを克服するためにダイナミックなアンカーを使用するCentroBindを提案する。CentroBindは、各モダリティ間の内部情報と共有情報を最大化し、より包括的な統一表現空間を構築する。
政治的に敏感なビデオ分析におけるマルチモーダル言語モデルのガバナンス
専門家と一般市民の間で、政治的に敏感なビデオ解釈におけるマルチモーダル言語モデルのガバナンスに関する価値観と期待を理解し、民主的な意思決定プロセスを通じてモデルの改善につなげる。
マルチモーダルマルチメディアイベント引数抽出のための統一テンプレート充填
本研究では、テキストと視覚の両方のモダリティからイベント引数を抽出するための統一テンプレート充填フレームワークを提案する。このアプローチにより、クロスオントロジートランスファーと、イベント固有のセマンティクスの活用が可能になる。
画像、テキスト、ビデオの特徴を統合するための学習可能なグラフ演算子
本論文では、グラフベースの特徴融合手法「LEGO融合」を提案する。この手法は、異なるモダリティ、表現、ドメインの特徴を統合するために、関係グラフを構築し、グラフ累乗を用いて複雑な相互作用をモデル化する。さらに、学習可能なグラフ融合演算子を導入し、特徴間の関係を動的に重み付けすることで、より効果的な融合を実現する。
交差するマニフォールドの無監督セグメンテーション: 本質次元における固有ベクトルの角度変化への適応
データ分散が d 方向以上に存在する場合、そのデータ点は交差領域に存在することを示す。提案手法は、固有ベクトルの角度変化を学習し、交差領域を特定する。
マルチモーダル推薦における因果関係に着目した公平な表現学習
マルチモーダル情報の利用により、ユーザーの機密情報の漏洩リスクが高まる。本研究では、因果関係に着目した公平な表現学習手法を提案し、ユーザーの機密情報を排除しつつ推薦精度を維持する。
マルチモーダル大規模言語モデルのための訓練不要の視覚プロンプト学習
マルチモーダル大規模言語モデルの注意機構を利用し、学習可能な潜在変数の最適化によって視覚プロンプトを注入することで、追加の訓練なしに詳細な領域記述と推論を可能にする。
高品質で現実的なマルチモーダルレイアウトデザイナーとしてのLayoutDETR
LayoutDETRは、背景画像と前景要素(画像/テキスト)を組み合わせて、美しくて現実的なレイアウトを生成することができる。
テキスト豊富な画像理解、視覚的参照と接地、および多画像推論を強化するマルチモーダル大規模言語モデルMM1.5の方法、分析、および洞察
MM1.5は、テキスト豊富な画像理解、視覚的参照と接地、および多画像推論の能力を強化するために設計された新しいマルチモーダル大規模言語モデルのファミリーである。
自然画像認識のための脳波信号の最適化：サンプリングの改善とマルチモーダル特徴統合
脳波信号のオブジェクト認識デコーディングを改善するために、サンプリング手法の拡張とマルチモーダル特徴の統合を提案した。これにより、従来手法に比べて7%の精度向上を達成した。
© 2024 by Linnk AI