대규모 언어 모델의 다단계 추론 제한: 너무 늦은 도약

Alapfogalmak

대규모 언어 모델은 다단계 추론 과정에서 첫 번째 단계를 너무 늦게 해결하여 두 번째 단계에서 필요한 정보를 활용하지 못하는 제한적인 순차적 추론 방식을 보인다.

Kivonat

대규모 언어 모델의 다단계 추론 제한 분석: 너무 늦은 도약

본 연구는 대규모 언어 모델(LLM)의 다단계 추론 능력을 심층 분석한 연구 논문입니다. 저자들은 LLM이 두 단계 질의에 대해 어떻게 내부적으로 계산을 수행하는지, 특히 잠재적인 다단계 추론 과정을 집중적으로 탐구했습니다.

본 연구는 LLM이 잠재적인 다단계 추론을 사용하여 두 단계 질의를 성공적으로 완료하는 내부 메커니즘을 밝히는 것을 목표로 합니다. 특히, 두 단계 질의 해결 과정에서 각 단계가 LLM 내부 어디에서 수행되는지 파악하는 데 중점을 둡니다.

저자들은 Wikidata에서 추출한 82,020개의 두 단계 질의 데이터셋을 구축하고, LLaMA 2, LLaMA 3, Pythia 등 다양한 LLM을 실험 대상으로 사용했습니다.
주요 분석 방법론은 다음과 같습니다.

Patchscopes: 특정 hidden representation에 담긴 정보를 자연어 문장으로 변환하여 해석하는 방법. 이를 통해 각 단계의 중간 결과가 언제, 어디서 나타나는지 파악합니다.
Sublayer Projection: Attention 및 MLP sublayer의 residual update를 vocabulary projection하여 정보의 흐름을 분석하는 방법. 이를 통해 각 단계의 해결에 어떤 sublayer가 더 중요한 역할을 하는지 분석합니다.
Attention Knockout: 특정 위치의 hidden representation이 다른 위치로 정보를 전달하는 것을 차단하여 해당 정보의 흐름이 예측에 미치는 영향을 분석하는 방법. 이를 통해 첫 번째 단계의 결과가 두 번째 단계로 어떻게 전달되는지 파악합니다.
Back-patching: 특정 layer의 hidden representation을 이전 layer에 주입하여 모델의 예측 변화를 관찰하는 새로운 분석 방법. 이를 통해 첫 번째 단계의 해결 시점이 너무 늦어 두 번째 단계에서 필요한 정보를 활용하지 못하는 문제를 검증합니다.

Főbb Kivonatok

Hopping Too Late: Exploring the Limitations of Large Language Models on Multi-Hop Queries

by Eden Biran, ... : arxiv.org 10-15-2024

https://arxiv.org/pdf/2406.12775.pdf