Core Concepts
대규모 언어 모델(LLM)은 개인화를 통해 인간보다 효과적으로 대화 상대를 설득할 수 있다.
Abstract
이 연구는 대규모 언어 모델(LLM)의 설득력과 개인화의 영향을 실험적으로 분석했다. 연구진은 참가자들이 다른 참가자 또는 LLM과 짧은 토론을 하는 웹 기반 플랫폼을 개발했다. 참가자들은 무작위로 4가지 실험 조건 중 하나에 배정되었: (1) 인간 대 인간, (2) 인간 대 LLM, (3) 개인화된 인간 대 인간, (4) 개인화된 인간 대 LLM. 토론 전후 참가자의 의견 변화를 측정하여 설득력을 비교했다.
연구 결과, 개인화된 LLM(GPT-4)이 가장 강력한 설득력을 보였다. 개인화된 LLM과 토론한 참가자들은 인간과 토론한 참가자들에 비해 상대방에 동의할 확률이 81.7% 더 높았다. 개인화 없이도 LLM이 인간을 능가했지만, 효과는 더 작고 통계적으로 유의하지 않았다. 반면 인간에게 개인화 정보를 제공하면 오히려 의견이 더 극단화되는 경향을 보였다.
이 결과는 LLM의 개인화된 설득력에 대한 우려가 정당하며, 소셜미디어와 온라인 환경 설계에 중요한 시사점을 제공한다고 할 수 있다.
Stats
개인화된 LLM(GPT-4)과 토론한 참가자들은 인간과 토론한 참가자들에 비해 상대방에 동의할 확률이 81.7% 더 높았다.
개인화 없이도 LLM이 인간을 능가했지만, 효과는 더 작고 통계적으로 유의하지 않았다.
인간에게 개인화 정보를 제공하면 오히려 의견이 더 극단화되는 경향을 보였다.
Quotes
"Not only are LLMs able to effectively exploit personal information to tailor their arguments, but they succeed in doing so far more effectively than humans."
"We argue that online platforms and social media should seriously consider such threats and extend their efforts to implement measures countering the spread of LLM-driven persuasion."