마진 기반 언어 모델 정렬의 일반적인 함정: 그레디언트 얽힘 현상 분석

Główne pojęcia

마진 기반 손실 함수를 사용하는 언어 모델 정렬 방식은 선호/비선호 응답 간 확률 변화를 독립적으로 제어하지 못하는 '그레디언트 얽힘' 현상으로 인해 의도치 않은 결과를 초래할 수 있다.

Streszczenie

마진 기반 언어 모델 정렬 방식의 그레디언트 얽힘 문제 심층 분석

본 연구 논문에서는 인간 피드백을 통한 강화 학습(RLHF) 기반 언어 모델 정렬 방식, 특히 마진 기반 손실 함수를 사용하는 방식의 근본적인 문제점을 분석하고 그 원인을 심층적으로 파헤친다.

최근 대규모 언어 모델(LLM)의 유용성을 향상시키고 유해성을 완화하기 위해 RLHF 방식이 주요 접근 방식으로 자리 잡았다. 이는 크게 두 단계로 구성된다: (1) 모델에 바람직한 행동을 직접적으로 학습시키는 지도 미세 조정(SFT) 단계, (2) 선호/비선호 응답 쌍을 비교하여 좋은/나쁜 행동의 구분을 학습하는 강화 학습(RL) 단계.
RL 단계에서는 일반적으로 마진 기반 손실 함수를 사용하여 선호하는 응답과 비선호 응답의 점수 차이를 최대화하는 방식으로 모델을 학습한다. 하지만 이러한 마진 기반 방식은 선호/비선호 응답 각각에 대한 이상적인 모델 동작을 명확하게 규정하지 못하는 문제점을 내포하고 있다.

본 논문에서는 마진 기반 방식의 이러한 문제점을 '그레디언트 얽힘' 현상으로 명명하고, 이로 인해 발생하는 두 가지 주요 부작용을 제시한다.

비선호 응답 확률 증가: 마진을 증가시키는 과정에서 비선호 응답 (예: 안전하지 않은 응답)의 확률이 증가할 수 있으며, 이는 잠재적인 안전 정렬 실패로 이어질 수 있다.
선호 응답 확률 감소: 마진 증가와 함께 선호 응답의 확률이 감소할 수 있으며, 이는 해당 응답이 이상적인 경우에도 발생할 수 있다.

Kluczowe wnioski z

A Common Pitfall of Margin-based Language Model Alignment: Gradient Entanglement

by Hui Yuan, Yi... o arxiv.org 10-18-2024

https://arxiv.org/pdf/2410.13828.pdf

Głębsze pytania

그레디언트 얽힘 현상을 완전히 해결할 수 있는 이상적인 손실 함수 설계 방향은 무엇일까?

이상적인 손실 함수는 선호 응답과 비선호 응답의 확률을 독립적으로 제어하면서 동시에 그레디언트 얽힘을 일으키는 요인을 최소화하는 방향으로 설계되어야 합니다. 몇 가지 구체적인 방향은 다음과 같습니다:

선호/비선호 응답에 대한 개별적인 손실 항 도입: 현재 마진 기반 손실 함수는 두 응답의 확률 차이에만 집중하는데, 각 응답에 대한 명시적인 손실 항을 추가하여 개별적인 확률 제어를 가능하게 합니다. 예를 들어, 선호 응답의 확률을 높이는 항과 비선호 응답의 확률을 낮추는 항을 독립적으로 설계하여 그레디언트 얽힘 없이 각 확률을 조절할 수 있습니다.

토큰 수준에서 중요도 가중치 적용: 모든 토큰이 얽힘에 동일하게 기여하는 것은 아닙니다. 문맥상 중요도가 높은 토큰에 가중치를 부여하여 손실 함수가 해당 토큰의 확률 변화에 더 민감하게 반응하도록 유도합니다. 이는 4.3절에서 언급된 것처럼 중요 토큰("positive"/"negative")의 그레디언트 상관관계는 낮고, 비중요 토큰(동일 토큰)의 상관관계는 높다는 점을 이용하여 얽힘을 줄일 수 있습니다.

그레디언트 정규화 기법 활용: 5.1절에서 제시된 쌍별 정규화 경사 하강법처럼 그레디언트를 정규화하여 얽힘을 완화할 수 있습니다. 이는 그레디언트의 방향은 유지하면서 크기를 조절하여 선호/비선호 응답 확률 변화의 균형을 맞춥니다.

적대적 학습 방식 도입: 생성자(Generator)와 판별자(Discriminator) 모델을 적대적으로 학습시켜 이상적인 손실 함수를 근사하는 방법을 고려할 수 있습니다. 생성자는 주어진 프롬프트에 대해 선호/비선호 응답을 생성하고, 판별자는 생성된 응답의 품질을 평가하여 생성자를 학습시키는 데 사용됩니다. 이를 통해 그레디언트 얽힘 없이 선호/비선호 응답의 분포를 효과적으로 학습할 수 있습니다.

마진 기반 방식 외에 선호/비선호 응답 확률을 독립적으로 제어할 수 있는 다른 언어 모델 정렬 방식은 무엇이 있을까?

강화 학습 기반 방법: 언어 모델을 에이전트로 간주하고, 선호 응답에 대해서는 높은 보상을, 비선호 응답에 대해서는 낮은 보상을 제공하여 학습시키는 방법입니다. Proximal Policy Optimization (PPO)와 같은 정책 경사 하강법을 사용하여 모델을 fine-tuning할 수 있습니다.

대조 학습 기반 방법: 선호 응답과 비선호 응답의 임베딩 공간에서의 거리를 조절하는 방식입니다. 선호 응답은 서로 가깝게, 비선호 응답은 서로 멀게 임베딩 되도록 학습하여 모델이 선호/비선호 응답을 구분하도록 유도합니다.

랭킹 학습 기반 방법: 주어진 프롬프트에 대한 여러 응답 후보들을 선호도 순으로 랭킹하는 모델을 학습하는 방식입니다. RankNet, LambdaRank 등의 랭킹 학습 알고리즘을 사용하여 모델을 학습시킬 수 있습니다.

생성 모델 기반 방법: 선호 응답의 분포를 직접 학습하는 생성 모델을 사용하는 방법입니다. Variational Autoencoder (VAE)나 Generative Adversarial Network (GAN)과 같은 생성 모델을 사용하여 선호 응답을 생성하고, 이를 통해 언어 모델을 fine-tuning할 수 있습니다.

그레디언트 얽힘 현상은 언어 모델 정렬 이외의 다른 머신러닝 분야에서도 발생하는 문제일까? 만약 그렇다면 어떤 분야에서 어떤 방식으로 나타날 수 있을까?

네, 그레디언트 얽힘 현상은 언어 모델 정렬 이외의 다른 머신러닝 분야에서도 발생할 수 있습니다. 특히 여러 목표를 동시에 최적화해야 하는 **다목적 학습 (Multi-task learning)**이나 다중 작업 학습 (Multi-label learning) 과 같은 분야에서 유사한 문제가 발생할 수 있습니다.
예를 들어, 이미지 분류 문제에서 이미지를 여러 클래스로 분류하는 모델을 학습한다고 가정해 보겠습니다. 이때 각 클래스에 대한 분류기를 개별적으로 학습하는 대신, 하나의 모델이 여러 클래스를 동시에 분류하도록 학습하는 다중 작업 학습 방식을 사용할 수 있습니다.
이 경우, 서로 다른 클래스를 구분하기 위한 그레디언트가 서로 간섭을 일으켜 특정 클래스의 분류 성능이 저하되는 그레디언트 얽힘 현상이 발생할 수 있습니다.
구체적인 예시:

자율 주행 자동차: 차선 유지, 장애물 회피, 목적지 경로 계획 등 여러 작업을 동시에 수행해야 하는 자율 주행 시스템에서 각 작업의 학습 과정에서 그레디언트 얽힘이 발생할 수 있습니다. 예를 들어, 차선 유지를 위한 그레디언트가 장애물 회피를 위한 그레디언트와 상충하여 안전 주행에 영향을 미칠 수 있습니다.

추천 시스템: 사용자의 다양한 관심사를 반영하여 상품이나 콘텐츠를 추천해야 하는 추천 시스템에서도 그레디언트 얽힘이 발생할 수 있습니다. 예를 들어, 사용자의 과거 구매 이력을 기반으로 추천하는 모델과 최근 검색어를 기반으로 추천하는 모델을 동시에 학습시킬 때, 두 모델의 그레디언트가 서로 간섭을 일으켜 추천 성능이 저하될 수 있습니다.
이러한 문제를 해결하기 위해 각 작업에 대한 그레디언트를 적절히 조절하거나, 작업 간의 우선순위를 설정하는 등의 방법을 고려해야 합니다.