이 논문은 대형 언어 모델(LLM)의 자기 수정 능력을 비판적으로 검토한다. 특히 모델 자체의 내재적 능력만으로 추론을 수정하는 "내재적 자기 수정" 능력에 초점을 맞춘다.
연구 결과, LLM은 외부 피드백 없이는 추론을 스스로 수정하기 어려운 것으로 나타났다. 오히려 대부분의 경우 자기 수정 후 성능이 오히려 저하되었다. 이는 기존 연구에서 관찰된 자기 수정의 성능 향상이 정답 레이블을 활용한 결과라는 것을 보여준다.
또한 다중 에이전트 토론 기법이 단순 자기 일관성 기법보다 우수하지 않음을 확인했다. 이는 다중 에이전트 토론이 실제로는 자기 일관성을 달성하는 것에 불과함을 시사한다.
마지막으로 초기 응답 생성 프롬프트 설계의 중요성을 강조했다. 일부 기존 연구에서 관찰된 자기 수정의 성능 향상은 초기 프롬프트가 최적화되지 않았기 때문이며, 이를 개선하면 자기 수정이 오히려 성능을 저하시킬 수 있다.
이러한 발견을 바탕으로 저자들은 LLM의 자기 수정 능력의 한계를 지적하고, 추후 연구 방향을 제시한다.
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Jie Huang,Xi... om arxiv.org 03-15-2024
https://arxiv.org/pdf/2310.01798.pdfDiepere vragen