マルチモーダル文脈学習における文字情報の影響

マルチモーダル大規模言語モデル(MLLM)の文脈学習能力は、適切な文脈例の選択に大きく依存する。しかし、現在の手法は視覚情報に偏っており、テキスト情報の重要性を軽視している。本研究では、テキスト情報がMLLMの文脈学習に及ぼす影響を詳細に評価し、テキスト情報を活用した新しい監視付き文脈例検索フレームワークを提案する。