人々の大規模言語モデルに対するバイアスと関連概念への認識：体系的レビュー

Core Concepts

大規模言語モデル（LLMs）に対する人々の認識とバイアスについての体系的レビューから、異なるバイアスや関連概念が研究され、LLMsのパフォーマンスへの評価が多様であることが明らかになった。

Abstract

この研究では、231件の論文から15件を選定し、人間評価者を募集してLLMsとの経験を評価した。研究では、異なるバイアスや関連概念、4つの広範なLLMアプリケーション領域、評価者たちが持つLLMsパフォーマンスへの認識、これらの認識に影響を与える要因、およびLLMアプリケーションに対する懸念について報告されています。これらの知見は開発者やデザイナーが将来的なユーザ中心型LLMs開発や適用に役立つだけでなく、バイアスを考慮した人間中心AI設計全般にも一般化できます。

Stats

15件の論文から選定された
231件からフルテキストレビューされた15件
20ページまでの論文あり
https://doi.org/10.1145/nnnnnnn.nnnnnnn

Quotes

"Previous work has shown that different descriptions of gender-based violence (GBV) influence the reader’s perception of who is to blame for the violence, possibly reinforcing stereotypes which see the victim as partly responsible, too."
"It is insufficient to merely exclude toxic data from training, as the model would not know how to answer hostile out-of-domain inputs, and positive biases where models tend to agree rather than contradict would lead to undesirable outcomes."
"Language models tend to output repetitive and vague responses. They have no model of the truth; they are learning correlations from large amounts of text and thus are able to generate falsehoods."

Key Insights Distilled From

People's Perceptions Toward Bias and Related Concepts in Large Language Models

by Lu Wang,Max ... at arxiv.org 03-05-2024

https://arxiv.org/pdf/2309.14504.pdf

Deeper Inquiries

どうして一部参加者はAI生成テキストを人間作成テキストよりも優れていると感じたか？

一部の参加者がAI生成テキストを人間作成テキストよりも優れていると感じた理由は、いくつかの要因によるものです。まず、AI生成テキストは迅速に最新情報にアクセスできるため、時間を節約し効率的な情報取得が可能だという利点があります。また、AI生成テキストは他の情報ツール（例：Google）よりも不明瞭な質問に対応する能力があることから、ロバスト性が高いと評価されました。さらに、異なる文化間でコミュニケーションを円滑に行える点や様々なユーザーインターフェースとの互換性が提供されています。

どうしてLLMsが特定タスクやドメインで異なるパフォーマンスを示す理由は何ですか？

LLMsが特定タスクやドメインで異なるパフォーマンスを示す理由は複数あります。まず、LLMsの限界や欠点に起因する場合があります。例えば、Q&Aでは良好な結果を出す一方で、医療レポートの単純化では十分なパフォーマンスを発揮しないことが挙げられます。また、LLMsを認知補助装置として使用した工場従業員は回答の正確性に感銘を受けました。

LLMSへの期待値が異なる要因は何ですか？

LLMsへの期待値が異なる要因には多様性あふれるコンテクスト上で変わってくるニーズや，その達成方法，そしてそれらから生じた期待値差異等々幾つか考えられます．これら隠された要素から来ており，多様性あふれコンテクスト上では違った期待値及び見解形成原則等影響します．