Alapfogalmak
黒箱の視覚言語モデルの応答の一貫性を利用して、信頼できない応答を特定することができる。
Kivonat
この論文では、黒箱の視覚言語モデルの予測の信頼性を判断する方法を提案している。
- 視覚質問応答タスクにおいて、モデルに質問に対する回答を求めるのではなく、回答を拒否する選択的予測を行うことが重要である。
- 既存の選択的予測の手法は、モデルの内部表現にアクセスできるなどの制約があるが、現実的には黒箱モデルしか利用できない場合が多い。
- そこで本研究では、質問に対する回答の一貫性を利用して、黒箱モデルの信頼できない予測を特定する方法を提案する。
- 質問に対する回答の一貫性は、質問の言語的な変形に対してモデルの回答が一致するかどうかで判断する。
- 質問の言語的な変形は、質問生成モデルを用いて効率的に生成することができる。
- 実験の結果、提案手法は、in-distribution、out-of-distribution、adversarialの各データセットにおいて、モデルの信頼できない予測を特定できることが示された。
- さらに、質問生成モデルがモデル本体よりも小さい場合でも、提案手法は有効であることが確認された。
Statisztikák
質問に対する回答の一貫性が高いほど、モデルの正解率が高い。
一貫性の高い回答は、必ずしも高い確信度ではない。
in-distributionデータセットでは、一貫性の高い回答が多く、out-of-distributionデータセットでは一貫性の高い回答が少ない。
adversarialデータセットでは、一貫性のレベルが均等に分布している。
Idézetek
"Consistency and Uncertainty: Identifying Unreliable Responses From Black-Box Vision-Language Models for Selective Visual Question Answering"
"We propose using the principle of neighborhood consistency to identify unreliable responses from a black-box vision-language model in question answering tasks."
"Surprisingly, we show that consistency over model-generated "approximate rephrasings" is effective at identifying unreliable predictions of a black-box vision-language model, even when the rephrasings are not semantically equivalent and the probing model is an order of magnitude smaller than the black-box model."