LVLMの画像トークン処理における効率性の問題とその解決策：FastVの提案

Core Concepts

画像トークンの処理がLVLMで極めて非効率的であることを明らかにし、FastVが推論予算を大幅に削減する方法を提案する。

Abstract

LVLMは画像トークンの注意力計算が深層層で非常に非効率的であることを発見。
FastVは不要な画像トークンを削減し、性能を損なうことなく推論予算を大幅に削減。
パフォーマンスと予算のバランスが調整可能。
異なるK-R組み合わせがパフォーマンスに与える影響を評価。
低解像度で訓練する代替手法としてFastVと比較。
LLMの有効な注意メカニズムと比較してFastVの適用可能性を検証。

Stats

LVLMでは50% FLOPs削減（LLaVA-1.5-13B）など、計算コスト削減実績あり。

Quotes

"Given that image tokens contribute minimally to output generation in deeper layers due to diminished attention, why not consider removing them at these stages?"

Key Insights Distilled From

An Image is Worth 1/2 Tokens After Layer 2

by Liang Chen,H... at arxiv.org 03-12-2024

https://arxiv.org/pdf/2403.06764.pdf

Deeper Inquiries

どうして画像トークンは深い層ではほとんど寄与しないため、それらを削除することは考えられませんか？

LVLMにおける画像トークンの注意効率が低い理由は、深い層での情報処理における高度な冗長性にあります。具体的には、浅い層では出力トークンが前の出力トークンに注目する傾向が見られますが、深い層ではシステムプロンプトに集中することが多く、画像トークン自体への注意が著しく減少します。このような現象から、深い層で画像トークンが出力生成にほとんど寄与していないことが明らかです。
したがって、これらの無駄な画像トークンを削除することで推論予算を削減し、モデル全体の機能性を維持しながらパフォーマンスを最適化するFastVアプローチは合理的です。この方法論はLVLM内で視覚情報の特徴的な振る舞いを考慮しており、モデル全体の機能性や効率性を向上させる可能性を秘めています。

どうしてLLMの注意メカニズムがLVLMに適用可能かどうか？

LLM（Large Language Models）内で観察されたアテンショントーケンドリング（Attention Token Ranking）パターンから得た洞察から分かるように、「頭部」トーケンド（Head Tokens）が推論フェーズで重要な役割を果たす傾向がある点でも共通点があります。そのため、「StreamingLLM」と呼ばれる既存手法で提案されたアティッショナル最適化技術も同様にLVLMへ応用可能だろうと仮定されました。
しかし実際の実験結果からわかったように、「StreamingLLM」で提案された特定アティッショナルハイキャッシュ最適化手法(Large Language Model Serving with Paged Attention) を LVLM へ直接適用した場合でも大幅なパフォーマンス低下しか引き起こしませんでした。これはビジュアル情報という異種情報源間で異なる振る舞いや貢献度レヘﾝｽ(Contribution Level) あ存在し，ビジュアル情報源内部及外部間(Across and Within Visual Information Sources) の相互作用(Mutual Interaction) も含みます。

FastV以外の方法で推論予算を削減する方法はありますか？

FastV以外でも推論予算削減策は幾つも存在します。例えば以下：

メモリ管理: メモリ使用量や計算コスト等々オペレーショナル面(Ops-side Optimization) の改善
圧縮技術: ネットワーキング・エラートランスポート(Compression Techniques in Networking & Error Transport)
並列処理: 計算資源(Ressource Computing Resources ) の並列利用(Parellel Utilization)

これら他方筆者(FastV開発チーム) 次第, 独自開発したFastV方式 (動的イメージ・マッピング方式(Dynamic Image Mapping)) を採択しました．本方式(FastV Methodology ) 　各入力段階(Input Stage), 出力段階(Output Stage), 双方(Bi-Directional Manner ) 入念調整(Tune-up Process).