最近、ビジョンタスク全般で有望なパフォーマンスを示しているVision Transformersには、高い計算コストの問題があります。最近、ビジョンプロンプト学習がこの問題に経済的な解決策を提供しています。しかし、既存のモデルの効率と効果はまだ満足できるものではありません。本論文では、深層暗黙モデルから着想を得た軽量なプロンプトフレームワーク「impLicit vIsion prOmpt tuNing(LION)」を提案しています。特に、我々は事前学習されたバックボーンに2つの均衡暗黙層を挿入しました。さらに、抽選仮説に従ってパラメータを削減しました。様々な実験で、LIONが幅広いデータセットで有望なパフォーマンスを発揮することが確認されています。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Haixin Wang,... at arxiv.org 03-01-2024
https://arxiv.org/pdf/2303.09992.pdfDeeper Inquiries