Alapfogalmak
본 논문에서는 대규모 언어 모델(LLM)을 법정에서 서로 경쟁하는 변호사, 배심원, 판사 역할을 하는 다중 에이전트 시스템으로 활용하여 LLM 출력 결과를 평가하는 새로운 프레임워크를 제안합니다.
Kivonat
대규모 언어 모델 평가를 위한 새로운 프레임워크: 적대적 다중 에이전트 시스템
본 연구 논문에서는 대규모 언어 모델(LLM)의 출력 결과를 평가하기 위해 LLM을 활용하는 새로운 프레임워크를 제안합니다. 이 프레임워크는 LLM을 법정에서 서로 경쟁하는 변호사, 배심원, 판사 역할을 하는 다중 에이전트 시스템으로 해석합니다.
기존의 인간 평가 및 자동화 지표 기반 LLM 평가 방식은 주관성, 높은 비용, 일관성 부족, 뉘앙스 포착의 어려움 등 여러 한계점을 가지고 있습니다. 본 연구는 이러한 한계점을 극복하고 더욱 효과적이고 포괄적인 LLM 평가를 위해 다중 에이전트 시스템을 활용하는 새로운 프레임워크를 제시하는 것을 목표로 합니다.
본 논문에서 제안하는 LLM Advocates 프레임워크는 두 가지 주요 아키텍처로 구성됩니다.
1. Multi-Advocate One-Round Evaluation (MORE)
각 답변에 대해 세 명의 '변호사' LLM을 배정하여 답변을 옹호하는 주장을 생성합니다.
'판사' LLM은 주장의 품질, 설득력, 일관성 등을 기준으로 각 변호사의 주장을 평가하고 점수를 매깁니다.
가장 높은 점수를 받은 답변이 더 우수한 답변으로 판단됩니다.
2. Single Advocate Multi-Round Evaluation (SAMRE)
각 답변에 대해 한 명의 '변호사' LLM을 배정하고, 여러 명의 '배심원' LLM이 토론 과정을 관찰합니다.
'판사' LLM은 각 라운드마다 피드백을 제공하고, 최종적으로 답변의 우수성을 평가합니다.
배심원들은 토론 내용과 판사의 피드백을 바탕으로 최종 투표를 통해 승리 답변을 결정합니다.