Core Concepts
自然言語生成ツールは強力で効果的ですが、言語モデルには偏りや公平性の問題があり、多くのユースケースに適用するのは現実的ではありません。特に、試験内容の自動生成では、特定の人口統計や経験のみを反映する内容や、精神的に傷つく可能性のある内容は、受験者のスコアに意図せずに影響を与える可能性があります。
Abstract
この論文では、自動生成された試験コンテンツの公平性の問題を特定し、分類するためのさまざまな手法を探っています。
- 621件の自動生成テキストデータセットを構築し、公平性の問題の有無を注釈付けしました。
- 微調整、トピックベースの分類、プロンプティングなどの手法を検討しました。
- プロンプトの自己修正とフューショットラーニングを組み合わせた手法が最も良い結果を示しました。
- 小規模なBERTベースのモデルも、ドメイン外のデータでは競争力のある性能を発揮しました。
- 公平性の問題は知識・スキル・能力に関するものと、感情的なものの2つのカテゴリに分類できることがわかりました。
Stats
試験コンテンツの自動生成には、特定の人口統計や経験のみを反映する内容や、精神的に傷つく可能性のある内容が含まれる可能性がある。
これらの問題は、受験者のスコアに意図せずに影響を与える可能性がある。
Quotes
"自然言語生成ツールは強力で効果的ですが、言語モデルには偏りや公平性の問題があり、多くのユースケースに適用するのは現実的ではありません。"
"特に、試験内容の自動生成では、特定の人口統計や経験のみを反映する内容や、精神的に傷つく可能性のある内容は、受験者のスコアに意図せずに影響を与える可能性があります。"