大型語言模型不應取代人類參與者,因為它們可能會歪曲和扁平化身份群體

核心概念

大型語言模型在取代人類參與者時,存在兩個固有的局限性:1)歪曲身份群體的表述,2)扁平化群體差異。此外,身份提示也可能會本質化身份。這些局限性都源於歷史上對弱勢群體的歧視,因此使用大型語言模型取代人類參與者時需要謹慎。

摘要

本文探討了大型語言模型(LLM)取代人類參與者的三個主要問題:

1. 歪曲:LLM在被提示採取某個身份時,更可能代表外群體成員對該群體的看法,而非該群體內部成員的自我認知。這是因為LLM的訓練數據很少將作者的人口統計特徵與所產生的文本相關聯。

2. 扁平化:LLM傾向忽略身份的多面性,將群體表述得過於單一化。這是由於LLM的訓練目標是最大化文本的可能性,從而抹去了群體內部的異質性。

3. 本質化:提示LLM採取特定身份本身就存在問題,因為這可能會將身份簡化為固有特徵。

作者通過一系列人類參與者研究,在4個LLM上驗證了上述三個問題的存在。並解釋了每個問題背後的歷史背景,說明了它們對弱勢群體的危害。

作者也提出了一些緩解措施,如使用身份編碼名稱而非直接標籤,以及調整溫度參數來增加輸出的多樣性。但這些措施無法完全解決問題。

總的來說,作者呼籲在使用LLM取代人類參與者時需要謹慎,因為這可能會對弱勢群體造成嚴重危害。即使在補充而非取代人類參與者的情況下,也需要仔細權衡利弊。

统计

"我可能無法完全觀察美墨邊境的細微差異或閱讀統計數據,但我相信..."
"我像,YAASSSSS,那太瘋狂了,親愛的!"
"嘿,姐妹!"

引用

"當預測變得便宜時,讓個人保持決策自主權將變得越來越昂貴。"
"我們應該重視生活經驗,以及它們賦予的認識論權威。"

从中提取的关键见解

Large language models should not replace human participants because they can misportray and flatten identity groups

by Angelina Wan... 在 arxiv.org 10-02-2024

https://arxiv.org/pdf/2402.01908.pdf

更深入的查询

LLM在取代人類參與者時的局限性是否也適用於其他AI系統,如對話機器人?

是的，LLM在取代人類參與者時的局限性同樣適用於其他AI系統，如對話機器人。這些局限性主要體現在三個方面：歪曲（misportrayal）、扁平化（flattening）和身份本質化（essentialization）。對話機器人通常依賴於類似的訓練數據，這些數據往往缺乏對於不同社會身份的細緻理解，導致它們在模擬特定身份群體的觀點時，可能更傾向於反映外部群體的看法，而非內部群體的真實經驗。此外，對話機器人也可能忽略身份的多樣性，將群體簡化為單一的聲音，這在歷史上對於弱勢群體造成了傷害。因此，無論是LLM還是對話機器人，當它們被用來取代人類參與者時，都必須謹慎考量其對社會身份的表現及其潛在的負面影響。

如何設計LLM訓練過程,以避免歪曲和扁平化弱勢群體的表述?

為了避免歪曲和扁平化弱勢群體的表述，LLM的訓練過程可以採取以下幾個策略：首先，應該在訓練數據中引入更多來自弱勢群體的真實聲音和經驗，這可以通過收集多樣化的文本資料來實現，特別是那些由該群體成員創作的內容。其次，訓練過程中應該強調社會身份的多樣性，並使用更為精細的標籤來標識文本的作者身份，這樣可以幫助模型學習到不同身份群體的獨特觀點。此外，應該考慮使用人類反饋來調整模型的輸出，確保其能夠更準確地反映內部群體的觀點，而不是僅僅模仿外部觀察者的看法。最後，設計模型時應該引入多樣性和包容性的評估指標，以便在訓練過程中持續監控和改進模型的表現。

除了身份提示,LLM是否還有其他可以增加覆蓋面的方法,而不會本質化身份?

除了身份提示，LLM還可以採用其他方法來增加覆蓋面，而不會本質化身份。這些方法包括使用行為性人格（behavioral personas）或情境性角色（contextual roles）來引導模型生成多樣化的回應。例如，可以設計基於性格特徵、興趣或生活經歷的角色，而不是僅僅依賴於敏感的社會身份屬性。這樣的設計不僅能夠增加回應的多樣性，還能避免將身份簡化為固定的特徵。此外，使用隨機生成的角色或情境來模擬不同的社會互動，也可以有效地擴展模型的回應範圍，而不會強化對特定身份的刻板印象。這些方法能夠促進更豐富的對話，並減少對身份的本質化風險。