大型語言模型不應取代人類參與者,因為它們可能會歪曲和扁平化身份群體

Conceitos essenciais

大型語言模型在取代人類參與者時,存在兩個固有的局限性:1)歪曲身份群體的表述,2)扁平化群體差異。此外,身份提示也可能會本質化身份。這些局限性都源於歷史上對弱勢群體的歧視,因此使用大型語言模型取代人類參與者時需要謹慎。

Resumo

本文探討了大型語言模型(LLM)取代人類參與者的三個主要問題:

1. 歪曲:LLM在被提示採取某個身份時,更可能代表外群體成員對該群體的看法,而非該群體內部成員的自我認知。這是因為LLM的訓練數據很少將作者的人口統計特徵與所產生的文本相關聯。

2. 扁平化:LLM傾向忽略身份的多面性,將群體表述得過於單一化。這是由於LLM的訓練目標是最大化文本的可能性,從而抹去了群體內部的異質性。

3. 本質化:提示LLM採取特定身份本身就存在問題,因為這可能會將身份簡化為固有特徵。

作者通過一系列人類參與者研究,在4個LLM上驗證了上述三個問題的存在。並解釋了每個問題背後的歷史背景,說明了它們對弱勢群體的危害。

作者也提出了一些緩解措施,如使用身份編碼名稱而非直接標籤,以及調整溫度參數來增加輸出的多樣性。但這些措施無法完全解決問題。

總的來說,作者呼籲在使用LLM取代人類參與者時需要謹慎,因為這可能會對弱勢群體造成嚴重危害。即使在補充而非取代人類參與者的情況下,也需要仔細權衡利弊。

Estatísticas

"我可能無法完全觀察美墨邊境的細微差異或閱讀統計數據,但我相信..."
"我像,YAASSSSS,那太瘋狂了,親愛的!"
"嘿,姐妹!"

Citações

"當預測變得便宜時,讓個人保持決策自主權將變得越來越昂貴。"
"我們應該重視生活經驗,以及它們賦予的認識論權威。"

Principais Insights Extraídos De

Large language models should not replace human participants because they can misportray and flatten identity groups

by Angelina Wan... às arxiv.org 10-02-2024

https://arxiv.org/pdf/2402.01908.pdf

Perguntas Mais Profundas

LLM在取代人類參與者時的局限性是否也適用於其他AI系統,如對話機器人?

是的，LLM在取代人類參與者時的局限性同樣適用於其他AI系統，如對話機器人。這些局限性主要體現在三個方面：歪曲（misportrayal）、扁平化（flattening）和身份本質化（essentialization）。對話機器人通常依賴於類似的訓練數據，這些數據往往缺乏對於不同社會身份的細緻理解，導致它們在模擬特定身份群體的觀點時，可能更傾向於反映外部群體的看法，而非內部群體的真實經驗。此外，對話機器人也可能忽略身份的多樣性，將群體簡化為單一的聲音，這在歷史上對於弱勢群體造成了傷害。因此，無論是LLM還是對話機器人，當它們被用來取代人類參與者時，都必須謹慎考量其對社會身份的表現及其潛在的負面影響。

如何設計LLM訓練過程,以避免歪曲和扁平化弱勢群體的表述?

為了避免歪曲和扁平化弱勢群體的表述，LLM的訓練過程可以採取以下幾個策略：首先，應該在訓練數據中引入更多來自弱勢群體的真實聲音和經驗，這可以通過收集多樣化的文本資料來實現，特別是那些由該群體成員創作的內容。其次，訓練過程中應該強調社會身份的多樣性，並使用更為精細的標籤來標識文本的作者身份，這樣可以幫助模型學習到不同身份群體的獨特觀點。此外，應該考慮使用人類反饋來調整模型的輸出，確保其能夠更準確地反映內部群體的觀點，而不是僅僅模仿外部觀察者的看法。最後，設計模型時應該引入多樣性和包容性的評估指標，以便在訓練過程中持續監控和改進模型的表現。

除了身份提示,LLM是否還有其他可以增加覆蓋面的方法,而不會本質化身份?

除了身份提示，LLM還可以採用其他方法來增加覆蓋面，而不會本質化身份。這些方法包括使用行為性人格（behavioral personas）或情境性角色（contextual roles）來引導模型生成多樣化的回應。例如，可以設計基於性格特徵、興趣或生活經歷的角色，而不是僅僅依賴於敏感的社會身份屬性。這樣的設計不僅能夠增加回應的多樣性，還能避免將身份簡化為固定的特徵。此外，使用隨機生成的角色或情境來模擬不同的社會互動，也可以有效地擴展模型的回應範圍，而不會強化對特定身份的刻板印象。這些方法能夠促進更豐富的對話，並減少對身份的本質化風險。