선호도 정렬을 위한 기존 강화학습 기법의 복잡성과 비용 문제를 해결하기 위해, 선호도 정보 없이도 언어 모델의 출력을 사용자 선호도에 맞게 직접 조정할 수 있는 선형 정렬 기법을 제안한다.
