Główne pojęcia
대형 언어 모델의 풍부한 세계 지식과 도구 사용 및 추론 능력을 활용하여 여행 계획 문제를 만족 조건 이론(SMT) 문제로 정식화하고 SMT 솔버와 상호작용하여 자동으로 해결할 수 있는 프레임워크를 제안한다.
Streszczenie
이 논문은 대형 언어 모델(LLM)의 풍부한 세계 지식과 도구 사용 및 추론 능력을 활용하여 복잡한 여행 계획 문제를 해결하는 프레임워크를 제안한다.
- 자연어 입력을 JSON 형식으로 변환하는 단계
- JSON 형식의 입력을 바탕으로 만족 조건 이론(SMT) 문제를 생성하는 단계
- 생성된 SMT 문제를 SMT 솔버를 통해 해결하는 단계
LLM은 자연어 입력을 JSON 형식으로 변환하고, 이를 바탕으로 SMT 문제를 생성하는 코드를 작성한다. SMT 솔버는 생성된 SMT 문제를 해결하여 여행 계획을 생성한다.
만약 입력 제약 조건이 충족될 수 없는 경우, SMT 솔버는 충족되지 않는 이유를 출력한다. LLM은 이 정보를 바탕으로 사용자와 상호작용하며 제약 조건을 수정하여 만족할 수 있는 여행 계획을 생성한다.
이 프레임워크는 TravelPlanner 벤치마크에서 97%의 성공률을 달성했으며, 새로운 제약 조건 유형에도 잘 일반화되는 것으로 나타났다.
Statystyki
여행 계획 문제에는 시간, 예산, 목적지, 교통 수단 등 다양한 제약 조건이 포함되어 있어 LLM 에이전트가 모든 제약 조건을 고려하기 어렵다.
TravelPlanner 벤치마크에서 가장 강력한 LLM 모델인 GPT-4도 단독으로는 0.6%의 성공률만 달성했다.
Cytaty
"LLM 자체로는 사용자 요구 사항을 만족시키는 여행 계획을 수립하기 어렵다."
"우리의 프레임워크는 LLM이 SMT 문제로 여행 계획 문제를 정식화하고 SMT 솔버와 상호작용하여 해결할 수 있게 한다."