Core Concepts
ChatGPT 출시 이후 AI 학회 동료 리뷰에서 6.5%에서 16.9%의 텍스트가 AI에 의해 상당 부분 수정되었을 가능성이 있다.
Abstract
이 연구는 대규모 텍스트 코퍼스에서 AI 생성 텍스트의 비율을 효율적으로 추정하는 방법을 제안한다. 이 방법은 전문가가 작성한 텍스트와 AI가 생성한 텍스트의 참조 데이터를 활용하여 최대 우도 추정 모델을 구축한다.
이 방법을 ICLR, NeurIPS, CoRL, EMNLP 등 주요 AI 학회 리뷰 데이터에 적용한 결과, ChatGPT 출시 이후 6.5%에서 16.9%의 리뷰 문장이 AI에 의해 상당 부분 수정되었을 가능성이 있는 것으로 나타났다. 반면 Nature 포트폴리오 저널의 리뷰에서는 이러한 증거가 발견되지 않았다.
추가 분석 결과, AI 생성 텍스트는 마감일 임박, 낮은 자신감, 적은 저자 답변 등의 상황에서 더 많이 나타났다. 또한 AI 생성 텍스트는 인용이나 구체적인 피드백이 부족하고, 리뷰 간 언어적/인식론적 다양성이 감소하는 경향을 보였다. 이는 동료 리뷰 프로세스에 AI 사용이 미치는 잠재적 영향을 시사한다.
Stats
ICLR 2024 리뷰의 10.6%가 ChatGPT에 의해 상당 부분 수정되었을 가능성이 있다.
EMNLP 2023 리뷰의 16.9%가 ChatGPT에 의해 상당 부분 수정되었을 가능성이 있다.
Nature 포트폴리오 저널의 리뷰에서는 ChatGPT 사용의 증거가 발견되지 않았다.
Quotes
"ChatGPT 출시 이후 AI 학회 동료 리뷰에서 6.5%에서 16.9%의 텍스트가 AI에 의해 상당 부분 수정되었을 가능성이 있다."
"AI 생성 텍스트는 마감일 임박, 낮은 자신감, 적은 저자 답변 등의 상황에서 더 많이 나타났다."
"AI 생성 텍스트는 인용이나 구체적인 피드백이 부족하고, 리뷰 간 언어적/인식론적 다양성이 감소하는 경향을 보였다."