Core Concepts
협상 능력을 정량적으로 평가하기 위해 LLM 에이전트의 성능을 측정하고, 구매자의 능력을 향상시키는 새로운 방법을 제안합니다.
Abstract
협상은 인간 간의 협상의 중요하고 독특한 부분이며, LLM 주도 에이전트가 협상하고 실제 인간처럼 행동하는 방법을 평가하는 것이 열린 문제입니다.
Bargaining task를 형식적으로 설명하고, AmazonHistoryPrice와 같은 실제 제품 가격 데이터 세트를 수집하여 다양한 LLM 에이전트의 협상 능력을 평가했습니다.
구매자로서의 협상이 판매자로서의 협상보다 어렵다는 사실을 확인하고, 모델 크기를 단순히 증가시키는 것이 구매자의 협상 성능을 향상시키지 못하는 것을 발견했습니다.
OG-Narrator라는 새로운 방법을 제안하여 모든 LLM 구매자의 성능을 크게 향상시켰습니다.
Introduction
협상은 인간 간의 중요하고 독특한 부분이며, LLM 주도 에이전트가 협상하고 실제 인간처럼 행동하는 방법을 평가하는 것이 열린 문제입니다.
Bargaining Task Formulation
협상 작업을 형식적으로 설명하고, AmazonHistoryPrice와 같은 실제 제품 가격 데이터 세트를 수집하여 다양한 LLM 에이전트의 협상 능력을 평가했습니다.
Buyer vs. Seller Performance
구매자로서의 협상이 판매자로서의 협상보다 어렵다는 사실을 확인하고, 모델 크기를 단순히 증가시키는 것이 구매자의 협상 성능을 향상시키지 못하는 것을 발견했습니다.
OG-Narrator Method
OG-Narrator라는 새로운 방법을 제안하여 모든 LLM 구매자의 성능을 크게 향상시켰습니다.
Stats
구매자로서의 협상이 판매자로서의 협상보다 어렵다는 사실을 확인하고, 모델 크기를 단순히 증가시키는 것이 구매자의 협상 성능을 향상시키지 못하는 것을 발견했습니다.
Quotes
"Playing Buyer is more difficult than playing Seller."
"For Buyer, training matters more than model size."
"The Buyer’s problem is setting a proper low price to start bargaining."