本文提出了一種新的訓練方法,以提高抽取式問答(EQA)模型的穩健性。現有的EQA模型在訓練集包含無法回答的問題時,在分布偏移和對抗攻擊下表現出明顯的缺乏穩健性。
作者提出了以下兩個主要創新:
新的損失函數:作者設計了一個新的損失函數,能夠自然地將無法回答的問題視為缺乏任何答案,而不是將其視為從[CLS]標記開始和結束的答案。這有助於提高模型在面對信息尋求型無法回答問題時的穩健性。
合成答案:作者在訓練集中的部分可回答問題上添加了"合成"答案,從而挑戰了大多數EQA數據集中存在的單一答案假設。這有助於提高模型在面對對抗攻擊時的穩健性。
實驗結果表明,使用作者提出的方法訓練的模型在保持原有領域內性能的同時,在跨領域測試集上的整體表現提高了5.7個F1分。此外,這些模型在兩種對抗攻擊下的性能下降也只有原模型的三分之一。
進一步分析發現,新的損失函數主要有助於提高模型在面對信息尋求型無法回答問題時的穩健性,而合成答案則是提高模型抵禦對抗攻擊的關鍵因素。
翻譯成其他語言
從原文內容
arxiv.org
深入探究