본 논문은 SemEval-2024 Task 8의 Subtask B를 다룬다. Subtask B는 주어진 텍스트가 사람이 작성했는지 특정 대형 언어 모델(LLM)에 의해 생성되었는지 탐지하는 다중 클래스 텍스트 분류 과제이다.
논문에서는 다음과 같은 접근법을 제안한다:
인코더 전용, 디코더 전용, 인코더-디코더 모델 등 다양한 트랜스포머 기반 모델을 체계적으로 fine-tuning하여 성능을 비교했다. 그 결과 인코더 전용 모델이 가장 우수한 성능을 보였다.
클래스 간 데이터 불균형 문제를 해결하기 위해 가중치 교차 엔트로피 손실 함수를 적용했다.
다중 모델 앙상블을 통해 예측의 신뢰성을 높였다. 각 클래스에서 가장 우수한 성능을 보인 모델들을 소프트 투표 방식으로 결합했다.
이러한 접근법을 통해 Subtask B에서 최고 성능을 달성했으며, 이는 이 새로운 과제에 대한 최신 기준을 제시한다.
Till ett annat språk
från källinnehåll
arxiv.org
Djupare frågor