Основные понятия
대규모 언어 모델의 다중 선택형 문제 해결 성능을 향상시키기 위해 문제의 난이도에 따라 데이터를 분할하고 각각 다른 접근법을 적용하는 분할 및 정복 전략을 제안한다.
Аннотация
이 논문은 대규모 언어 모델(LLM)의 다중 선택형 문제(MCQ) 해결 능력을 향상시키기 위한 분할 및 정복 전략인 DCR(Divide and Conquer Reasoning)을 제안한다.
분할 단계:
LLM에 "Let's think step by step."을 추가하여 t번 추론을 수행하고, 각 문제의 신뢰도 점수(CS)를 계산한다.
CS가 임계값 μ보다 낮은 문제를 Dlow 집합에, 나머지를 Dother 집합에 분류한다.
정복 단계:
Dother 집합은 그대로 유지하고, Dlow 집합에 대해 Filter Choices based Reasoning(FCR) 기법을 적용한다.
FCR은 분할 단계에서 생성된 답변을 활용하여 선택지를 필터링하고, 이를 바탕으로 LLM에 추가 질의를 수행한다.
실험 결과, DCR은 기존 방법 대비 평균 1.56%의 정확도 향상을 달성하면서도 자원 소모는 85% 수준으로 감소시켰다. 또한 다양한 LLM에서 일관된 성능 향상을 보였으며, FCR이 다른 추론 기법들보다 우수한 성능을 나타냈다.
Статистика
다중 선택형 문제에서 선택지 개수가 증가할수록 모델의 정확도가 감소한다.
분할 단계에서 생성된 답변을 활용하여 선택지를 필터링하면 90.51%의 경우에서 정답이 포함된다.
Цитаты
"이전에 모델이 생성한 오답들이 강력한 방해 요인으로 작용한다."
"선택지 개수를 줄이는 것이 모델 성능 향상에 도움이 된다."