本研究は、大規模言語モデルの一つであるChatGPTを用いて、ヒトパピローマウイルスワクチンに関するソーシャルメディアメッセージの賛成派と反対派の立場を識別する精度を評価したものである。
Facebook(長文)とTwitter(短文)から収集したメッセージを人手で評価し、その結果と大規模言語モデルの評価結果を比較した。
その結果、20回の応答を用いて大多数決で判断した場合、長文メッセージの反対派と賛成派の識別精度はそれぞれ0.882と0.750、短文メッセージでは0.773と0.723と高い精度が得られた。しかし、長文メッセージにおいて賛成派メッセージの識別精度は反対派よりも有意に低かった。また、中立的なメッセージの識別精度は低く、0.540(長文)、0.541(短文)にとどまった。
応答数を1つや3つに減らしても精度の大幅な低下は見られず、大規模言語モデルの効率的な活用が示唆された。ただし、特定の文脈や内容に応じた特性と限界を理解し、適切に活用することが重要である。
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문