Core Concepts
RoFT 데이터셋을 활용하여 인공지능 생성 텍스트와 사람 작성 텍스트의 경계를 효과적으로 탐지하는 다양한 접근법을 제안하고 평가한다.
Abstract
이 연구는 인공지능 생성 텍스트와 사람 작성 텍스트의 경계를 탐지하는 문제를 다룬다. 기존의 인공지능 텍스트 탐지 연구는 전체 텍스트가 인공지능 생성인지 사람 작성인지를 판별하는 이진 분류 문제에 초점을 맞추었지만, 실제 상황에서는 인공지능 생성 텍스트와 사람 작성 텍스트가 혼합된 경우가 많다.
이 연구에서는 RoFT 데이터셋을 활용하여 다양한 접근법을 제안하고 평가한다. 먼저 RoBERTa 기반 분류기, 퍼플렉서티 기반 분류기, 토폴로지 기반 분류기 등 여러 방법론을 시도한다. 실험 결과, 퍼플렉서티 기반 분류기가 도메인 간 일반화 성능이 가장 우수한 것으로 나타났다. 또한 도메인 간 일반화 성능을 저해하는 데이터 특성들을 분석하였다. 예를 들어 문장 길이 분포, 레이블 분포, 텍스트 구조 등이 중요한 요인으로 확인되었다.
이 연구는 인공지능 생성 텍스트와 사람 작성 텍스트의 경계 탐지 문제에 대한 새로운 접근법을 제시하고, 관련 데이터셋을 확장하여 제공함으로써 향후 연구에 기여할 것으로 기대된다.
Stats
문장 길이 분포가 도메인별로 크게 다르다.
레이블 분포(인공지능 생성 문장 비율)가 모델별로 큰 차이를 보인다.
요리 도메인의 경우 문장 구조(번호 매긴 리스트 등)로 인해 탐지가 어려워진다.
기초적인 문법/의미 오류가 있는 텍스트(GPT-2, 베이스라인)도 탐지가 어렵다.
사람 작성 텍스트에서 나타나는 담화 구조(plot twist 등)가 퍼플렉서티 기반 탐지를 어렵게 만든다.
Quotes
"인공지능 생성 텍스트와 사람 작성 텍스트가 혼합된 경우가 많다."
"퍼플렉서티 기반 분류기가 도메인 간 일반화 성능이 가장 우수한 것으로 나타났다."
"문장 길이 분포, 레이블 분포, 텍스트 구조 등이 도메인 간 일반화 성능을 저해하는 중요한 요인으로 확인되었다."