Conceitos Básicos
Ghostbuster는 일련의 약한 언어 모델을 통해 문서를 전달하고, 이러한 모델의 특징을 조합하여 AI 생성 텍스트를 탐지하는 최신 기술입니다.
Resumo
이 논문에서는 Ghostbuster라는 AI 생성 텍스트 탐지 시스템을 소개합니다. Ghostbuster는 다음과 같은 과정을 거칩니다:
문서를 일련의 약한 언어 모델(unigram, trigram, GPT-3 ada, GPT-3 davinci)에 통과시켜 토큰 확률을 계산합니다.
이러한 확률을 조합하는 벡터 및 스칼라 함수를 구조화된 검색을 통해 선택합니다.
선택된 특징을 사용하여 선형 분류기를 학습시킵니다.
Ghostbuster는 토큰 확률에 대한 접근을 사용하므로 대상 모델에 대한 액세스 권한이 필요하지 않습니다. 이를 통해 블랙박스 또는 알 수 없는 모델에 의해 생성된 텍스트를 탐지할 수 있습니다.
Ghostbuster는 학생 에세이, 창의적 글쓰기, 뉴스 기사 등 3개 도메인의 인간 작성 및 AI 생성 텍스트 데이터셋을 사용하여 평가되었습니다. Ghostbuster는 99.0 F1 점수를 달성하여 기존 최고 모델보다 5.9 F1 점수 높았습니다. 또한 도메인, 프롬프트 전략, 언어 모델 간 일반화 성능에서도 기존 모델을 크게 능가했습니다.
Estatísticas
사람이 작성한 텍스트와 AI가 생성한 텍스트의 토큰 확률에는 차이가 있다.
AI 생성 텍스트는 사실성, 반복, 모순, 비일관성 등의 문제를 더 많이 포함하는 경향이 있다.
더 큰 언어 모델일수록 이러한 문제가 줄어드는 경향이 있다.
Citações
"AI 생성 텍스트는 사람이 작성한 텍스트보다 공식적이고 초점이 더 명확하다."
"AI 생성 텍스트 탐지기의 성능에는 한계가 있으며, 문장 수준 편집에 취약하다."