本文探討了大型語言模型(LLM)取代人類參與者的三個主要問題:
歪曲:LLM在被提示採取某個身份時,更可能代表外群體成員對該群體的看法,而非該群體內部成員的自我認知。這是因為LLM的訓練數據很少將作者的人口統計特徵與所產生的文本相關聯。
扁平化:LLM傾向忽略身份的多面性,將群體表述得過於單一化。這是由於LLM的訓練目標是最大化文本的可能性,從而抹去了群體內部的異質性。
本質化:提示LLM採取特定身份本身就存在問題,因為這可能會將身份簡化為固有特徵。
作者通過一系列人類參與者研究,在4個LLM上驗證了上述三個問題的存在。並解釋了每個問題背後的歷史背景,說明了它們對弱勢群體的危害。
作者也提出了一些緩解措施,如使用身份編碼名稱而非直接標籤,以及調整溫度參數來增加輸出的多樣性。但這些措施無法完全解決問題。
總的來說,作者呼籲在使用LLM取代人類參與者時需要謹慎,因為這可能會對弱勢群體造成嚴重危害。即使在補充而非取代人類參與者的情況下,也需要仔細權衡利弊。
Egy másik nyelvre
a forrásanyagból
arxiv.org
Mélyebb kérdések