대규모 언어 모델을 인간 선호도와 일치시키기 위해 간단하면서도 효과적인 대조 학습 프레임워크를 제안한다. 이 프레임워크는 데이터의 내재적 품질을 고려하여 노이즈를 평가하고 동적으로 학습 과정을 조정하며, 쌍대 대조 손실과 적응형 지도 미세 조정 손실을 활용하여 인간 선호도와의 정렬을 향상시킨다.
