核心概念
大型語言模型 (LLM) 在執行需要機率分佈輸出的判別性任務時,可透過反向 Softmax 技巧校準其口語化機率,進而提升模型預測的可靠度。
摘要
大型語言模型的口語化機率校準研究
本研究論文探討如何校準大型語言模型 (LLM) 在判別性任務中生成的口語化機率。
評估 LLM 在零樣本推論設定下,於判別性任務中生成機率分佈的能力。
評估使用溫度縮放法搭配反向 Softmax 技巧校準 LLM 口語化機率的有效性。
瞭解校準後的口語化機率在控制精確率-召回率閾值方面的特性。
口語化機率生成: 研究人員設計提示模板,引導 LLM 生成各類別標籤的機率分佈。
反向 Softmax 技巧: 針對 LLM 無法直接提供 logits 的問題,研究採用反向 Softmax 技巧,將口語化機率轉換為估計 logits,以利後續校準。
溫度縮放法: 利用溫度縮放法對估計 logits 進行校準,調整模型預測的置信度。