Core Concepts
オンラインディスカッションの熟議の質を評価するためのAQuAスコアを提案する。専門家と非専門家の評価を組み合わせ、20の熟議の側面を考慮した単一のスコアを算出する。
Abstract
本研究では、オンラインディスカッションの熟議の質を評価するためのAQuAスコアを提案している。
まず、専門家による熟議の質の注釈付けデータと、非専門家による熟議らしさの評価データを組み合わせている。この2つのデータを用いて、20の熟議の側面に関する適応モデルを訓練し、それぞれの側面の重要度を示す相関係数を算出している。
次に、これらの相関係数を重みとして、20の側面の予測スコアを加重平均することで、単一の熟議の質スコア(AQuAスコア)を算出している。このスコアは0から5の範囲で正規化されており、高い値ほど熟議の質が高いことを示す。
実験の結果、AQuAスコアは、専門家の注釈と非専門家の評価の両方と整合的であり、他のデータセットでも有効に機能することが示された。また、コメントの長さだけでなく、内容の質的側面も高スコアに反映されていることが確認された。
このように、AQuAスコアは、オンラインディスカッションの熟議の質を包括的に評価し、専門家と非専門家の視点を統合した有用な指標となっている。
Stats
コメントの長さが長いほど、AQuAスコアが高くなる傾向がある。
短いコメントほど低いスコアを取る傾向がある。