이 보고서는 특허 분야에 특화된 대규모 언어 모델 PatentGPT를 소개합니다. 주요 내용은 다음과 같습니다:
특허 분야의 요구사항을 충족하기 위한 데이터 전처리, 사전 학습, 정렬 및 평가 절차를 제안했습니다. 이를 통해 개발된 PatentGPT 모델은 기존 범용 언어 모델을 능가하는 성능을 보여줍니다.
다양한 규모의 PatentGPT 모델을 비교 평가했으며, 70억 개 매개변수의 PatentGPT-1.0-Dense 모델이 특허 분야에서 가장 우수한 성능을 보였습니다. 또한 47억 개 매개변수의 PatentGPT-1.0-MoE 모델은 긴 문서 처리에서 우수한 비용 대비 성능을 보였습니다.
특허 문서 작성, 분류, 요약 등 특허 분야 전반을 평가할 수 있는 종합 벤치마크 PatentBench를 제안했습니다. 이를 통해 특허 분야 언어 모델의 성능을 체계적으로 평가할 수 있습니다.
Na inny język
z treści źródłowej
arxiv.org
Głębsze pytania