大規模視覚言語モデルの評価における課題と新しいベンチマークの提案

大規模視覚言語モデルの評価において、視覚情報が不要な問題や、モデルの学習データへの意図せぬリークが存在することが明らかになった。そのため、視覚依存性が高く、リークの影響が少ない新しいベンチマーク「MMStar」を提案し、大規模視覚言語モデルの実際の多様な多モーダル能力を評価する。