대규모 언어 모델을 인간의 선호도와 정렬시키는 것은 안전한 모델 배포를 위해 중요한 과제이다. 본 연구는 이러한 정렬 방법의 학습 동학을 이론적으로 분석하여, 선호도 데이터 분포가 모델 업데이트 속도와 정확도에 미치는 영향을 밝혀낸다.
