본 논문은 인간의 선호도 다양성을 고려하여 강화학습 기반 언어모델 미세조정을 위한 두 가지 접근법을 제안한다. 첫째, 개인화 기반 접근법은 개인별 보상 함수 학습을 통해 선호도 다양성을 반영한다. 둘째, 선호도 집계 기반 접근법은 다양한 인간 선호도를 단일 보상 함수로 통합하는 방법을 제안한다. 이를 통해 기존 강화학습 기법의 한계를 극복하고 공정성 및 대표성을 향상시킬 수 있다.
