Core Concepts
대규모 언어 모델의 문제 해결 능력을 향상시키기 위해 자극적인 프롬프트와 프레임워크 프롬프트를 결합한 자동 프롬프트 그래픽 패러다임을 제안한다.
Abstract
이 논문은 대규모 언어 모델(LLM)의 문제 해결 능력을 향상시키기 위한 새로운 접근법을 제안한다. 기존의 프롬프트 기반 접근법을 자극적인 프롬프트와 프레임워크 프롬프트로 구분하고, 이를 결합한 자동 프롬프트 그래픽 패러다임(APGP)을 소개한다.
APGP는 다음과 같은 단계로 구성된다:
문제 정의: LLM에게 문제를 명확히 정의하도록 한다.
솔루션 생성: LLM에게 3가지 잠재적 솔루션을 생성하도록 한다.
솔루션 통합: LLM이 3가지 솔루션의 장단점을 종합하여 최종 솔루션을 도출한다.
솔루션 검증: LLM이 생성한 답변의 정확성을 스스로 검증한다.
반복 및 개선: 검증 실패 시 새로운 솔루션을 생성하여 문제를 재해결한다.
이 프레임워크는 자동화된 프롬프트 생성과 감정 자극 요인을 고려하여, LLM의 문제 추상화, 다양한 솔루션 생성, 종합적 최적화, 자체 검증 등을 지원한다. 실험 결과, 이 프레임워크가 LLM의 문제 해결 효율과 정확성을 향상시킬 수 있음을 보여준다.
Stats
루오즈바 데이터셋에서 62.08%의 정확도를 달성했다.
BIG-Bench Hard 데이터셋의 다양한 하위 과제에서 우수한 성능을 보였다.
Quotes
"Let's think step by step"은 LLM의 문제 해결 능력을 향상시킬 수 있다.
"Take a deep breath and work on this problem step-by-step"은 LLM의 성능을 더욱 향상시킬 수 있다.
LLM은 인간의 감정적 자극에 긍정적으로 반응한다.