본 연구는 C-Test 생성을 위한 새로운 혼합 정수 프로그래밍(MIP) 기반 방법을 제안한다. C-Test는 단어의 마지막 부분만 공백으로 처리하는 문장 완성 연습이다.
기존 연구는 갭 크기 또는 위치만을 변경하여 지역적으로 최적의 솔루션을 찾았지만, 본 연구의 MIP 방법은 갭 크기와 위치를 동시에 고려하여 전역적으로 최적의 솔루션을 찾을 수 있다. 또한 최신 갭 난이도 예측 모델을 최적화 문제에 직접 통합할 수 있다.
사용자 연구 결과, MIP 방법은 다른 두 기준 전략(갭 위치 및 GPT-4 기반)보다 유의미하게 우수한 성능을 보였으며, 세 번째 기준 전략(갭 크기)과 유사한 수준의 성능을 보였다. 분석 결과, GPT-4는 명시적 제약 조건을 충족하는 데 여전히 어려움을 겪고 있으며, MIP가 생성한 C-Test가 인지된 난이도와 가장 잘 부합하는 것으로 나타났다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Ji-Ung Lee,M... at arxiv.org 04-16-2024
https://arxiv.org/pdf/2404.08821.pdfDeeper Inquiries