이 연구는 ChatGPT와 같은 대규모 언어 모델(LLM)의 HPV 백신 관련 소셜미디어 메시지 감정 분석 성능을 평가하였다.
Facebook과 Twitter에서 수집한 HPV 백신 관련 메시지를 인간 평가자가 분류한 후, 이를 LLM에 입력하여 분류 결과를 비교하였다.
LLM은 전반적으로 백신 찬반 메시지를 잘 구분하였다. 특히 백신 반대 메시지의 경우 평균 정확도가 매우 높았다. 그러나 백신 찬성 메시지와 중립 메시지에 대해서는 상대적으로 낮은 정확도를 보였다.
또한 메시지 길이에 따라 정확도에 차이가 있었는데, 짧은 메시지보다 긴 메시지에서 정확도가 낮았다.
이러한 결과는 LLM의 특성과 한계를 이해하고, 공중 보건 맥락에 맞는 분석 방법을 개발할 필요성을 시사한다. 연구자들은 LLM의 활용 시 신뢰성과 타당성을 확보하기 위한 추가적인 기법과 절차를 고려해야 한다.
Para outro idioma
do conteúdo fonte
arxiv.org
Principais Insights Extraídos De
by Soojong Kim,... às arxiv.org 04-11-2024
https://arxiv.org/pdf/2404.06731.pdfPerguntas Mais Profundas