ViTの密な特徴記述のためのLiFT: シンプルで効果的な手法

Core Concepts

LiFTは、事前学習されたViTバックボーンの特徴を高密度化するシンプルで効果的な自己教師付き変換手法です。

Abstract

Vision Transformers（ViTs）は画像とビデオ認識タスクで好まれるアーキテクチャとして浮上しており、Convolutional Neural Networks（CNNs）と比較して大きな設計変更を示す。
ViTsは強力なパッチごとの表現を学ぶことが可能だが、低解像度のトークン/パッチグリッドにより空間的粒度が不足している。
LiFTは、DINO ViT-S/16に適用されることで性能向上を実証し、他のアプローチよりも計算コストが少なく高密度特徴配列の利点を引き出す。
LiFTは容易に任意のViTバックボーンに適用可能であり、様々な下流タスクに対応する汎用的な機能拡張モジュールを提供する。

Stats

DINO ViT-S/16 + LiFT：FLOPs 5.30G (+22.1%)、KP Performance 28.68 (+15.8%)
DINO ViT-B/16：パラメータ 85M (+304%)、FLOPs 17.21G (+296%)、KP Performance 24.90 (+0.6%)
DINO ViT-S/16 (448 x 448)：パラメータ 21M (+0%)、FLOPs 17.28G (+298%)、KP Performance 28.60 (+15.5%)

Quotes

"LiFT provides an easy way to unlock the benefits of denser feature arrays for a fraction of the computational cost."
"Our proposed method fuses the coarse high-level information of ViT features with convolution-based image features derived from the original image."

Key Insights Distilled From

LiFT

by Saksham Suri... at arxiv.org 03-22-2024

https://arxiv.org/pdf/2403.14625.pdf

Deeper Inquiries

どうやってLiFTは他のアプローチよりも計算コストを削減しながら性能向上を実現しますか？

LiFTは、ViTバックボーンから高密度な特徴を抽出するために設計されています。この手法では、事前学習されたViTの特徴を拡張するために軽量な後処理ネットワークであるLiFTモジュールが使用されます。LiFTは自己教師あり目的関数で容易にトレーニング可能であり、他の方法と比較して非常に低い追加推論コストでViT特徴の密度を向上させます。例えば、入力解像度を増やすことやパッチ抽出時のストライドを減らす方法よりも遥かに効率的です。また、LiFTは異なるバックボーンでも同様にトレーニング可能であり、一貫した性能向上が得られます。