기호적 피드백을 통한 강화 학습: RLSF

Kernkonzepte

본 논문에서는 기호적 피드백을 활용한 강화 학습(RLSF)이라는 새로운 LLM 미세 조정 패러다임을 제안하며, 이는 기존 방법보다 복잡한 추론 작업에서 LLM의 성능을 향상시키도록 설계되었습니다.

Zusammenfassung

RLSF: 기호적 피드백을 통한 강화 학습

본 연구 논문에서는 기호적 피드백을 통한 강화 학습(RLSF)이라는 새로운 대규모 언어 모델(LLM) 미세 조정 패러다임을 제안합니다. 저자들은 기존의 보상 기반 방법의 한계, 특히 인간 피드백을 통한 강화 학습(RLHF)의 한계를 해결하고자 합니다. RLHF는 부정확한 블랙박스 보상 모델, 인간 선호도 데이터 수집의 어려움, 희소한 스칼라 보상에 대한 의존성과 같은 문제에 직면합니다.

RLSF에서 LLM은 미세 조정될 RL 에이전트로 간주되는 반면, 환경은 추론 또는 도메인 지식 도구(예: 솔버, 증명기, 대수 시스템 또는 지식 기반)에 대한 액세스 권한이 부여됩니다. 중요하게도 RLSF에서 이러한 추론 도구는 특정 정확성 사양과 관련하여 LLM 생성 객체의 오류를 특징짓는 다항식 크기 인증서(예: 증명)를 통해 LLM에 피드백을 제공할 수 있습니다. RLSF 기반 미세 조정은 인증서 생성 기호 도구를 활용하여 LLM에 사운드 세분화(토큰 수준) 보상 신호를 제공할 수 있으므로 위에서 언급한 기존 보상 모델의 한계를 해결합니다. 또한 RLSF 접근 방식에서는 사용하는 추론 시스템이 미분 가능할 필요가 없으므로 다용성이 향상됩니다.

Wichtige Erkenntnisse aus

RLSF: Reinforcement Learning via Symbolic Feedback

by Piyush Jha, ... um arxiv.org 10-08-2024

https://arxiv.org/pdf/2405.16661.pdf