핵심 개념
대규모 언어 모델의 출력을 개인 사용자 선호도에 맞게 조정하기 위해 소규모의 로컬에서 학습 가능한 "선호도 에이전트"를 활용하는 새로운 접근 방식을 제시합니다.
초록
비지도 학습 기반 사용자 선호도 학습: 대규모 언어 모델 정렬을 위한 새로운 패러다임
본 연구 논문에서는 제한된 데이터를 사용하여 대규모 언어 모델(LLM)을 개별 사용자 선호도에 맞게 조정하는 새로운 접근 방식을 제시합니다. 저자들은 리소스 집약적인 미세 조정 없이 더 큰 LLM을 효율적으로 안내하기 위해 소규모의 로컬에서 학습 가능한 "선호도 에이전트"를 활용합니다.
본 연구의 주요 목표는 대규모 언어 모델의 출력물을 개인 사용자의 선호도에 맞춰 효율적으로 개인화하는 방법을 개발하는 것입니다. 특히, 개인화된 데이터가 부족한 상황에서도 효과적으로 작동하는 방법을 모색합니다.
이를 위해 저자들은 '선호도 에이전트'라는 개념을 기반으로 한 새로운 접근 방식을 제안합니다. 이 에이전트는 소형의 로컬에서 학습 가능한 언어 모델로, 개별 사용자의 선호도를 학습하여 간결한 자연어 규칙으로 인코딩하도록 설계되었습니다. 이러한 에이전트는 마치 작은 "운전대"처럼 작동하여 훨씬 더 큰 일반 LLM의 출력을 원하는 개인화된 스타일과 콘텐츠로 안내합니다.
선호도 에이전트는 두 가지 주요 구성 요소로 작동합니다. 첫째, 사용자 선호도를 포착하는 자연어 규칙을 생성합니다. 둘째, 이러한 규칙을 사용하여 더 큰 사전 훈련된 언어 모델을 안내합니다. 이러한 모듈식 아키텍처를 통해 광범위한 재교육 없이 효율적인 개인화가 가능합니다.