핵심 개념
계약서의 모호한 조항을 식별하고 이를 해소하기 위한 명확화 질문을 자동으로 생성하는 기술
초록
이 연구는 계약서의 모호성을 탐지하고 이를 해소하기 위한 명확화 질문을 자동으로 생성하는 ConRAP 프레임워크를 제안한다. 주요 내용은 다음과 같다:
계약서 문장의 모호성을 탐지하기 위해 속성 기반 프롬팅 기법을 사용한다. 이 기법은 문장 내 모호한 속성을 식별하고 이에 대한 명확화 질문을 생성한다.
생성된 질문에 대한 답변을 계약서 내에서 검색하는 검색 기반 질의응답 모듈을 추가하여, 계약서 전체 문맥을 고려한 모호성 탐지를 수행한다.
1,000개의 계약서 문장을 수작업으로 레이블링하여 모호성 탐지 데이터셋을 구축하였다.
다양한 대형 언어 모델을 활용하여 ConRAP의 성능을 평가한 결과, ChatGPT를 사용했을 때 모호성 탐지 F2 점수 0.87, 생성된 질문의 70%가 유용한 것으로 나타났다.
오픈소스 모델 중에서는 Vicuna가 ChatGPT에 가장 근접한 성능을 보였다.
이 연구는 계약서의 모호성을 자동으로 탐지하고 명확화 질문을 생성하는 새로운 접근법을 제시하였다. 이를 통해 비법률 전문가들이 계약서 요구사항을 보다 효과적으로 도출할 수 있을 것으로 기대된다.
통계
계약서 문장 내 모호한 속성은 일반적으로 모호성, 불완전성, 참조 모호성 등의 유형을 가진다.
생성된 명확화 질문 중 83%가 ChatGPT에 의해 포괄적으로 식별되었다.
오픈소스 모델 중 Vicuna가 ChatGPT에 가장 근접한 성능을 보였다.
인용구
"계약서의 모호한 조항을 식별하고 이를 해소하기 위한 명확화 질문을 자동으로 생성하는 기술"
"이 연구는 계약서의 모호성을 자동으로 탐지하고 명확화 질문을 생성하는 새로운 접근법을 제시하였다."