本論文は、ビジョントランスフォーマー(ViT)の少数サンプル圧縮に関する新しい手法を提案している。
主な内容は以下の通り:
従来のCNN圧縮手法をViTに適用すると精度が大きく低下するため、ViT特有の圧縮手法が必要であることを示す。
提案手法「DC-ViT」では、注意機構を完全に削除し、MLPの一部を保持・再利用することで、密集した圧縮オプションを実現する。
合成メトリックデータセットを使って、ブロック単位の圧縮可能性を評価し、最適なブロックを選択する。
段階的な圧縮と微調整を行うことで、少数サンプルでも高精度な圧縮モデルを得ることができる。
提案手法は、ViTのみならずCNNモデルの圧縮でも優れた性能を示す。
提案手法の有効性を裏付ける詳細な分析と、少数サンプル圧縮のための有用な知見を提供する。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Hanxiao Zhan... at arxiv.org 03-28-2024
https://arxiv.org/pdf/2403.18708.pdfDeeper Inquiries