Core Concepts
プロンプトの有無が、零距離検出器の性能に大きな影響を与える。プロンプトを考慮した検出(白箱検出)は、プロンプトを考慮しない検出(黒箱検出)に比べて、検出精度が大幅に向上する。
Abstract
本研究では、プロンプトの有無が零距離検出器の性能に与える影響を実験的に分析している。
まず、白箱検出と黒箱検出の2つの検出方式を提案した。白箱検出はプロンプト情報を利用し、黒箱検出はプロンプト情報を利用しない。
実験の結果、白箱検出の方が黒箱検出に比べて、検出精度が大幅に向上することが示された。特に、既存の零距離検出器では、プロンプトを考慮しない黒箱検出の場合、検出精度が0.1以上低下することが明らかになった。
一方で、Binocularsやファストシリーズの検出器は、他の手法に比べてプロンプトの影響に対してより頑健であることが確認された。これは、サンプリングプロセスの違いによるものと考えられる。
さらに、置換率やサンプル数を変化させた実験から、これらのパラメータを増やすことで、ファストシリーズの検出精度を向上させられることが示された。しかし、最大でも0.8程度のAUCしか得られず、実用レベルの精度には至らなかった。
本研究の知見から、プロンプトの有無が検出精度に大きな影響を与えることが明らかになった。今後は、この課題に対して頑健な零距離検出器の開発が重要な研究課題となると考えられる。
Stats
プロンプトを考慮した白箱検出と、プロンプトを考慮しない黒箱検出の検出精度(AUC)の差は、最小で0.1以上あった。