AI 피드백 기반 강화학습(RLAIF)은 인간 피드백 기반 강화학습(RLHF)에 비해 비용과 시간이 적게 들지만, 모델 응답의 정확성과 진실성이 저하되는 문제가 있다. 이를 해결하기 위해 하이브리드 AI 피드백 기반 강화학습(HRLAIF) 기법을 제안하였으며, 이를 통해 모델의 유용성과 안전성을 향상시킬 수 있었다.