ビジョン言語モデルの日本語能力を評価するための新しいベンチマーク「Heron-Bench」

Heron-Benchは、ビジョン言語モデルの日本語理解能力を包括的に評価するための新しいベンチマークである。日本の文化的背景を反映した画像と質問から構成され、閉鎖型モデルと公開型モデルの性能を比較することで、日本語理解の現状と課題を明らかにする。