Główne pojęcia
THOUGHTSCULPT은 중간 수정 메커니즘을 통해 언어 모델이 이전 출력을 지속적으로 개선할 수 있도록 하는 일반적인 추론 및 검색 방법이다.
Streszczenie
THOUGHTSCULPT은 몬테카를로 트리 탐색(MCTS)을 활용하여 잠재적 솔루션의 검색 트리를 탐색한다. 솔루션을 구성하는 각 행동을 평가하고, 도메인 특정 휴리스틱(일반적으로 LLM 평가기)에 따라 점수를 매긴다. 중요한 점은 THOUGHTSCULPT의 행동 공간에 수정 행동이 포함된다는 것이다. 즉, THOUGHTSCULPT은 이전 출력의 일부를 수정하는 것을 선택할 수 있다.
실험 결과, THOUGHTSCULPT은 세 가지 까다로운 과제에서 최신 추론 방법들을 능가했다: 스토리 개요 개선(흥미도 최대 +30% 향상), 미니 크로스워드 풀이(단어 성공률 최대 +16% 향상), 제약된 생성(개념 적용률 최대 +10% 향상).
Statystyki
스토리 개요 개선 과제에서 THOUGHTSCULPT(MCTS)는 GPT-3.5와 GPT-4 기반 모델에 대해 각각 89.9%와 65.0%의 평균 흥미도를 달성했다.
미니 크로스워드 풀이 과제에서 THOUGHTSCULPT(MCTS)는 GPT-3.5와 GPT-4 기반 모델에 대해 각각 41.6%와 74.0%의 단어 성공률을 달성했다.
제약된 생성 과제에서 THOUGHTSCULPT(DFS)는 GPT-3.5와 GPT-4 기반 모델에 대해 각각 79.6%와 99.1%의 개념 적용률을 달성했다.
Cytaty
"THOUGHTSCULPT은 중간 수정 메커니즘을 통해 언어 모델이 이전 출력을 지속적으로 개선할 수 있도록 한다."
"실험 결과, THOUGHTSCULPT은 세 가지 까다로운 과제에서 최신 추론 방법들을 능가했다."