画像の分布外検出のための転移可能な否定的プロンプトの学習

แนวคิดหลัก

本研究では、特定のクラスラベルに対する否定的な意味を表すプロンプトを学習することで、既知のクラスと未知のクラスの境界を明確にし、分布外検出の性能を向上させる手法を提案する。

บทคัดย่อ

本研究は、分布外検出の課題に取り組むために、ビジョン言語モデル(VLM)を活用した新しい手法「NegPrompt」を提案している。

主な特徴は以下の通り:

1. 既知のクラスデータのみを使用して、各クラスに対する否定的なプロンプトを学習する。これにより、外部のアウトライアデータに依存せずに、既知クラスと未知クラスの境界を明確化できる。

2. 学習した否定的プロンプトは転移可能であり、訓練時に使用したクラスの一部のみで学習を行っても、未知のクラスに対しても適用できる。これにより、オープンボキャブラリー学習シナリオでも有効に機能する。

3. 様々なImageNetベンチマークでの実験結果から、提案手法「NegPrompt」が既存の最先端のプロンプト学習ベースの分布外検出手法を上回る性能を示すことが確認された。特に、閉じた分類と開いた分類の両方の状況で、高い分布外検出精度を維持できることが明らかになった。

สถิติ

提案手法「NegPrompt」は、既知クラスデータのみを使用して学習を行うことができる。
学習した否定的プロンプトは、未知のクラスに対しても適用可能である。

คำพูด

なし

ข้อมูลเชิงลึกที่สำคัญจาก

Learning Transferable Negative Prompts for Out-of-Distribution Detection

by Tianqi Li,Gu... ที่ arxiv.org 04-05-2024

https://arxiv.org/pdf/2404.03248.pdf

สอบถามเพิ่มเติม

提案手法「NegPrompt」は、どのようなメカニズムで既知クラスと未知クラスの境界を明確化しているのか

提案手法「NegPrompt」は、既知クラスと未知クラスの境界を明確化するために、各既知クラスに対して負のプロンプトを学習します。これらの負のプロンプトは、特定の既知クラスの負の概念を表現し、モデルを未知のサンプルに対して高い類似性を示すように導きます。具体的には、各既知クラスに対して、そのクラスの正のプロンプト（IDクラスのテキストプロンプトの埋め込み）に対する負のプロンプトを学習し、これによって未知クラスとの境界を区別します。このアプローチにより、未知のサンプルに対する感度が向上し、分布外の画像をより効果的に検出できるようになります。

「NegPrompt」の学習プロセスにおいて、正のプロンプトと負のプロンプトの関係性をどのように制御しているのか

「NegPrompt」の学習プロセスでは、正のプロンプトと負のプロンプトの関係性を制御するために、学習可能な負のプロンプトを導入します。これらの負のプロンプトは、特定の既知クラスの負の概念を表現し、モデルを未知のサンプルに対して高い類似性を示すように誘導します。負のプロンプトは、CLIPのテキスト-画像に整列した埋め込み空間で学習され、学習時には学習データとその正のプロンプト（IDクラスのプロンプト埋め込み）を使用します。このようにして、モデルは未知のサンプルに対してより敏感になり、分布外の画像をより効果的に検出できるようになります。

「NegPrompt」の性能向上に寄与する要因は何か

「NegPrompt」の性能向上にはいくつかの要因が寄与しています。まず、学習可能な負のプロンプトを導入することで、既知クラスと未知クラスの境界を明確化し、モデルの未知サンプルへの感度を向上させます。また、外部のデータや膨大な計算コストを必要とせず、学習データのみを使用して負のプロンプトを学習するため、軽量な手法である点も性能向上に寄与しています。他の分布外検出手法との比較から、NegPromptは学習可能な負のプロンプトを活用して未知のサンプルをより効果的に検出し、オープンボキャブラリー学習環境での適用可能性が高いことが示唆されます。これにより、従来の手法よりも優れた性能を発揮し、分布外の画像の検出において優れた成績を収めています。