Conceitos essenciais
ChatGPTは、人間の評価と同様の方法で自然言語説明の質を評価できる。
Resumo
本研究では、ChatGPTが自然言語説明の質を人間のように評価できるかを検証した。3つのデータセット(論理推論、虚偽情報の正当化、潜在的な憎悪表現の説明)を使用し、人間の評価者とChatGPTの両方に説明の情報性と明確性を評価させた。
結果として、ChatGPTは粗い評価(2値、3値分類)では人間の評価と良く一致するが、細かい評価(7段階)では課題がある。特に、論理推論と潜在的な憎悪表現の説明の情報性評価で、小さな差異を区別するのが苦手であることが分かった。一方、比較評価では人間の評価に近い結果を示した。動的プロンプティングを導入することで、結果がさらに改善された。
この研究は、言語モデルの説明の質を評価する能力を理解する上で重要な知見を提供する。責任あるAIシステムの構築に向けて、言語モデルによる評価を人間の評価の代替や補完として活用できる可能性が示された。
Estatísticas
人間の評価者とChatGPTの評価の相関係数は0.636から0.888の範囲にある。
人間の評価者とChatGPTの2値分類のF1スコアは0.88から1.00の範囲にある。
人間の評価者とChatGPTの3値分類のF1スコアは0.64から0.90の範囲にある。
人間の評価者とChatGPTの7値分類のF1スコアは0.19から0.58の範囲にある。
Citações
"ChatGPTは粗い評価(2値、3値分類)では人間の評価と良く一致するが、細かい評価(7段階)では課題がある。"
"特に、論理推論と潜在的な憎悪表現の説明の情報性評価で、小さな差異を区別するのが苦手である。"
"一方、比較評価では人間の評価に近い結果を示した。"