Core Concepts
언어 모델 기반 체화된 의사결정 에이전트가 불확실한 환경에서 효율적으로 필요한 정보를 수집할 수 있도록 하는 방법론 제안
Abstract
이 논문은 체화된 의사결정 상황에서 언어 모델 기반 에이전트가 직면하는 정보 부족 문제를 해결하기 위한 방법론을 제안한다.
주요 내용은 다음과 같다:
언어 모델 기반 에이전트는 충분한 정보가 주어질 때 강력한 의사결정 능력을 보이지만, 불확실한 환경이나 모호한 지시에 직면하면 어려움을 겪는다.
이에 착안하여 "Asking Before Acting (ABA)"라는 방법을 제안한다. ABA를 통해 에이전트는 자연어로 외부 정보원에 질문하여 필요한 정보를 능동적으로 수집할 수 있다.
ABA는 질문 생성 과정의 이해도를 높이기 위해 질문-답변 형식의 메타데이터를 활용하는 ABA-FT 방식으로 확장된다.
다양한 환경(텍스트 기반 가정 작업, 로봇 팔 조작 작업, 실세계 이미지 기반 작업)에서 실험을 수행하여 ABA와 ABA-FT가 기존 방식 대비 성능과 효율성 면에서 우수함을 입증한다.
실세계 시나리오에 대한 정성적 분석을 통해 ABA의 실용성과 향후 연구 방향을 제시한다.
Stats
불확실한 환경에서 에이전트가 직접 탐색하는 것보다 질문을 통해 정보를 수집하는 것이 더 효율적이다.
ABA와 ABA-FT는 기존 방식 대비 성능과 효율성이 크게 향상되었다.
ABA-FT는 특히 장기 과제에서 추가적인 성능 향상을 보였다.
Quotes
"When confronted with such scenarios, we humans typically adopt a different approach. When assigned with ambiguous tasks, it is more prudent to ask for clarification about the task before taking actions, ensuring we have the tasks correctly understood."
"Besides, rather than resorting to onerous trial and error, it is natural for us to actively query external information from our peers to accelerate information gathering and guide decision making."