Core Concepts
既存の確率ベースのプロンプト選択方法において、Calibration By Marginalization(CBM)が最も効果的であること。
Abstract
この論文では、確率ベースのプロンプト選択方法における新しいキャリブレーション手法であるCalibration By Marginalization(CBM)が導入されました。CBMは、回答選択に対するキャリブレーションを行うことで、すべてのメソッドにおいてプロンプト選択パフォーマンスを向上させます。特に、MI(PA)は、最高の既存メソッド(GE)と比較してスケーリングされたF1を87.79%から99.44%まで向上させます。
Stats
MIAGLは、最高値94.98%を示す。
MDLM(PA)は、最高値99.44%を示す。
MI(PA)は、最高値96.85%を示す。
Quotes
"MIAGL significantly improves scaled F1 to 94.98% compared to that of the best existing method."
"MI(PA) increases the scaled F1 from 87.79% to 99.44% compared to the best existing method (GE)."
"CBM is considerably more effective than CC and PMIDC in enhancing the answer selection performance of the prompts."