Core Concepts
SciGLM은 대학 수준의 과학적 추론 능력을 갖춘 과학 언어 모델 제품군이다. 자기 반성적 지침 주석 프레임워크를 통해 과학 도메인의 데이터 부족 문제를 해결하고, 이를 통해 구축된 SciInstruct 데이터셋으로 ChatGLM 모델을 미세 조정하여 과학 및 수학 추론 성능을 크게 향상시켰다.
Abstract
SciGLM은 과학 언어 모델 제품군으로, 대학 수준의 과학적 추론 능력을 갖추고 있다. 이를 위해 다음과 같은 접근을 취했다:
자기 반성적 지침 주석 프레임워크: 기존 언어 모델을 활용하여 레이블이 없는 과학 문제에 대한 단계별 추론을 생성하고, 이를 자기 반성적 비평 및 수정 과정을 통해 개선하였다. 이를 통해 SciInstruct라는 다양하고 고품질의 데이터셋을 구축하였다.
SciInstruct 데이터셋 활용: 물리, 화학, 수학, 형식 증명 등 다양한 주제의 문제를 포함하는 SciInstruct 데이터셋으로 ChatGLM 모델을 미세 조정하였다.
성능 평가: SciGLM은 과학 및 수학 벤치마크에서 기반 모델 대비 최대 6.68%의 성능 향상을 보였다. 또한 일반 언어 이해 능력도 유지하여, 과학 도메인 전문성과 범용 언어 이해 능력을 모두 갖춘 모델로 평가된다.
Stats
과학 및 수학 벤치마크에서 SciGLM-32B 모델이 기반 모델 대비 최대 6.68% 성능 향상을 보였다.
SciGLM-6B 모델은 기반 모델 대비 최대 4.87% 성능 향상을 보였다.
Quotes
"SciGLM은 대학 수준의 과학적 추론 능력을 갖춘 과학 언어 모델 제품군이다."
"자기 반성적 지침 주석 프레임워크를 통해 과학 도메인의 데이터 부족 문제를 해결하였다."
"SciInstruct 데이터셋으로 ChatGLM 모델을 미세 조정하여 과학 및 수학 추론 성능을 크게 향상시켰다."