혼합 품질의 대화 데이터를 활용하여 오픈 소스 언어 모델의 성능을 향상시키는 새로운 프레임워크 OpenChat을 제안한다. 특히 클래스 조건부 강화학습 기반 미세조정 기법인 C-RLFT를 통해 전문가 데이터와 비전문가 데이터의 품질 차이를 활용하여 모델 성능을 높일 수 있다.
