Основні поняття
大規模なビジョンモデルが常に必要であるかどうかについて、スケーリングとS2アプローチを通じて議論し、小さなモデルも同等以上の性能を発揮できる可能性を示唆。
Анотація
- ビジョンモデルのサイズ拡張が進歩に寄与してきたが、S2アプローチにより小さなモデルでも同等以上の性能を達成可能。
- S2アプローチは画像スケール次元でのスケーリングを提案し、多くの下流タスクで優れたパフォーマンスを実現。
- 大規模なモデルから学習された表現の多くは、マルチスケール小さなモデルでも学習可能。
- S2で事前トレーニングすることで、小さなモデルも大規模なモデルと同等以上の汎化能力を持つことが示されている。
導入
ビジョン理解における大規模ビジョンモデルの必要性に疑問符。S2アプローチによる新たな視点。
スケーリング手法比較
- ビジョンタスクにおけるS2アプローチと従来のサイズ拡張手法(Model Size Scaling)比較。
- S2アプローチが多くの場面で優れた結果を示す一方、一部の例外では大規模モデルが有利。
特徴再構築評価
- 大規模ビジョンモデルからマルチスケール小さなモデルへの特徴再構築評価。
- 多くの場合、マルチスケール小さなモデルは大規模特徴量を効果的に再構築可能。
Статистика
S2アプローチは幅広い下流タスクで優れたパフォーマンスを実現しています。
マルチスケール小さなモデルは大規模特徴量を効果的に再構築可能です。
Цитати
"Scaling on Scales (S2) achieves state-of-the-art performance in detailed understanding of MLLM on the V∗ benchmark."
"S2 scaling is a competitive scaling approach compared to scaling on model size."