언어 모델 정렬을 위한 보상 해킹 완화를 위한 정규화된 Best-of-N 샘플링

Core Concepts

Best-of-N 샘플링은 언어 모델을 인간 선호도에 정렬하는 효과적인 전략이지만, 보상 해킹 문제에 취약하다. 이 연구에서는 근접성 정규화를 도입한 정규화된 Best-of-N (RBoN) 샘플링을 제안하여 보상 해킹 문제를 완화한다.

Abstract

이 연구는 언어 모델 정렬을 위한 Best-of-N (BoN) 샘플링의 한계점인 보상 해킹 문제를 해결하기 위해 정규화된 Best-of-N (RBoN) 샘플링을 제안한다.
BoN 샘플링은 N개의 응답을 생성하고 프록시 보상 모델에 따라 최고 점수의 응답을 선택한다. 그러나 프록시 보상 모델이 실제 목표와 완벽하게 일치하지 않기 때문에, 보상 모델을 최적화하는 것이 실제 목표를 최적화하지 않을 수 있다.
이를 해결하기 위해 RBoN은 프록시 보상 모델 점수와 근접성 정규화 항의 합을 최대화한다. RBoN은 KL 발산 기반 RBoNKL과 Wasserstein 거리 기반 RBoNWD의 두 가지 변형을 제안한다. RBoNWD는 Wasserstein 거리가 자체적으로 효과적인 최적화 목표이므로 정규화 강도 선택에 덜 민감하다.
실험 결과, RBoN은 프록시 보상 모델과 실제 목표 간의 상관관계가 낮을 때 BoN보다 우수한 성능을 보인다. 또한 RBoNWD를 사용하여 생성된 선호 데이터셋으로 학습한 DPO 모델이 BoN으로 생성된 데이터셋으로 학습한 DPO 모델보다 우수한 성능을 보인다.

Stats

프록시 보상 모델과 실제 목표 간의 상관관계가 낮을수록 RBoN이 BoN보다 우수한 성능을 보인다.
RBoNWD는 정규화 강도 선택에 덜 민감하다.
RBoNWD로 생성된 선호 데이터셋으로 학습한 DPO 모델이 BoN으로 생성된 데이터셋으로 학습한 DPO 모델보다 우수한 성능을 보인다.

Quotes

"Best-of-N (BoN) sampling with a reward model has been shown to be an effective strategy for aligning Large Language Models (LLMs) to human preferences at the time of decoding."
"A common solution to prevent reward hacking in preference learning techniques is to optimize a reward using proximity regularization (e.g., KL regularization), which ensures that the language model remains close to the reference model."
"RBoNWD is a combination of two effective objectives. Therefore, we expect the performance of RBoNWD to be less sensitive to the choice of β."

Key Insights Distilled From

Regularized Best-of-N Sampling to Mitigate Reward Hacking for Language Model Alignment

by Yuu Jinnai,T... at arxiv.org 04-02-2024

https://arxiv.org/pdf/2404.01054.pdf

Deeper Inquiries

질문 1

프록시 보상 모델과 실제 목표 간의 상관관계가 높은 경우에도 RBoN이 BoN보다 우수한 성능을 보일 수 있는 방법은 무엇일까?
RBoN이 프록시 보상 모델과 실제 목표 간의 상관관계가 높은 경우에도 BoN보다 우수한 성능을 보일 수 있는 이유는 RBoN의 워셔스타인 거리(WD)를 사용하는 접근 방식 때문입니다. 워셔스타인 거리는 확률 분포 간의 거리를 측정하는 방법으로, 보상 모델과 실제 목표 간의 차이를 더 효과적으로 보정할 수 있습니다. 이는 보상 해킹 문제를 완화하고 보다 정확한 결과를 얻을 수 있도록 도와줍니다. 따라서 RBoNWD는 보상 모델과 실제 목표 간의 상관관계가 높은 경우에도 더 나은 성능을 보일 수 있습니다.

질문 2

보상 해킹 문제를 완화하기 위한 다른 접근 방식에는 어떤 것들이 있을까?
보상 해킹 문제를 완화하기 위한 다른 접근 방식에는 다양한 방법이 있습니다. 예를 들어, 다중 보상 함수를 사용하여 보상 해킹을 완화하는 방법이 있습니다. 또한, 보상 함수를 합쳐서 파라미터를 보간하거나 모델을 앙상블하는 방법도 있습니다. 이러한 방법들은 보상 해킹을 완화하고 모델의 성능을 향상시키는 데 도움이 될 수 있습니다.

질문 3

RBoN 기법을 다른 언어 모델 정렬 문제에 적용할 수 있을까?
RBoN 기법은 다른 언어 모델 정렬 문제에도 적용할 수 있습니다. RBoN은 보상 모델을 보정하는 데 사용되는 워셔스타인 거리를 통해 보상 해킹 문제를 완화하고 모델을 더 정확하게 정렬할 수 있습니다. 따라서 다른 언어 모델에도 RBoN을 적용하여 보다 효과적인 결과를 얻을 수 있을 것입니다. 이 기법은 다양한 언어 모델 정렬 문제에 유용하게 활용될 수 있을 것으로 기대됩니다.