核心概念
大規模言語モデル(LLMs)は、単純なコサイン距離OOD検出器が他のOOD検出器を上回り、特に少数ショットの設定で効果的であることを示しています。
要約
この論文では、LLMsによるOOD検出の重要性が掘り下げられています。異なる設定(ゼログラードおよび生成ファインチューニング)でのLLMsのOOD検出能力が詳細に分析されています。結果として、単純なコサイン距離を使用したOOD検出器が他の複雑な手法を上回り、特に少数ショットの状況で効果的であることが示されました。また、表や図を通じて実験結果や考察が詳細に示されています。
統計
LLMsは近完全な結果を達成する(例:AUROCおよびAUPRが1に近づき、FAR@95が0に近づく)。
距離ベースのOODメソッド(MahaおよびCosine)は非常に効果的であり、MSPおよびEnergyは劣っている。
近隣OODセッティングでは、モデルパラメータ数が増加すると、LLMsのOOD検出性能も向上する。
コサイン距離はデータ効率的なOOD検出器であり、1ショットだけでも効果的な検出を提供する。
引用
"単純なコサイン距離OOOディテクターは他のOOOディテクターを凌駕し、特に少数ショット設定で優れたパフォーマンスを発揮します。"
"我々の研究は将来のLLMsの可能性を有効かつ責任ある方法で活用するための基盤として役立つ可能性があります。"