이 논문은 대규모 언어 모델(LLM)의 다국어 추론 능력을 향상시키기 위한 Cross-ToT 방법을 제안한다. 기존의 Chain-of-Thought(CoT) 기법은 영어에서만 효과적이었지만, 언어 데이터의 불균형으로 인해 다른 언어에서는 성능이 제한적이었다.
Cross-ToT는 Tree-of-Thoughts 접근법에 영감을 받아 LLM에게 다국어 환경에서 자기 일관적인 다단계 추론 과정을 생성하도록 유도한다. 이를 통해 서로 다른 언어 간 추론 과정이 상호작용하며 최종 해답에 도달하게 된다.
실험 결과, Cross-ToT는 기존 방법들에 비해 다국어 수학 문제 해결, 언어 이해, 상식 추론 등 다양한 과제에서 우수한 성능을 보였다. 또한 분석을 통해 영어의 역할, 언어 수의 영향, 추론 과정의 진화 등을 확인하였다. 이를 통해 Cross-ToT가 다국어 환경에서 LLM의 추론 능력을 효과적으로 향상시킬 수 있음을 보여주었다.
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Leonardo Ran... kl. arxiv.org 04-22-2024
https://arxiv.org/pdf/2311.08097.pdfDybere Forespørgsler