대형 언어 모델의 문맥 학습이 신뢰할 수 있는 추론을 이끌어내지 못할 수 있음: 대형 언어 모델의 A-Not-B 오류

核心概念

대형 언어 모델은 인간 유아와 유사한 수준의 억제 통제 능력을 가지고 있어, 이전에 학습한 단순한 패턴에 의해 영향을 받아 새로운 상황에서 올바른 추론을 하지 못한다.

摘要

이 연구는 대형 언어 모델(LLM)의 억제 통제 능력을 평가하기 위해 인지 과학의 A-Not-B 실험을 언어 기반 다중 선택 문제 해결 시나리오로 적용했다. 실험 결과, 최신 LLM(예: Llama3-8b)은 문맥 학습(ICL) 상황에서는 일관되게 잘 수행하지만, 문맥이 사소하게 변경되면 최대 83.3%의 성능 저하를 보이며 오류를 일으켰다. 이는 LLM이 유아와 유사한 수준의 억제 통제 능력만을 가지고 있음을 시사한다.

모델 크기, 프롬프트 예시 수, 추론 과제 유형 등이 LLM의 A-Not-B 오류에 영향을 미치는 것으로 나타났다. 더 큰 모델과 더 나은 사전 학습 데이터를 가진 모델이 이 오류에 더 강한 것으로 확인되었다. 또한 자기 설명 기법을 사용해도 이 오류를 완전히 극복하지 못했다. 이는 LLM의 추론 과정에 근본적인 차이가 있음을 시사한다.

統計資料

최대 83.3%의 성능 저하가 관찰되었다.
더 큰 모델(Llama3-70b)은 평균 8.7%의 성능 저하를 보인 반면, 더 작은 모델(Llama3-8b)은 평균 20.8%의 성능 저하를 보였다.
수학 추론 과제에서 가장 큰 성능 저하가 관찰되었다.

引述

"LLMs only have inhibitory control abilities on par with human infants in this regard, often failing to suppress the previously established response pattern during ICL."
"This suggests that LLMs only have inhibitory control abilities on par with human infants in this regard, often failing to suppress the previously established response pattern during ICL."

從以下內容提煉的關鍵洞見

In-Context Learning May Not Elicit Trustworthy Reasoning: A-Not-B Errors in Pretrained Language Models

by Pengrui Han,... 於 arxiv.org 09-25-2024

https://arxiv.org/pdf/2409.15454.pdf

深入探究

LLM의 A-Not-B 오류를 극복하기 위해 어떤 다른 접근 방식을 시도해볼 수 있을까?

LLM의 A-Not-B 오류를 극복하기 위해 여러 접근 방식을 고려할 수 있다. 첫째, 모델의 크기와 품질을 향상시키는 것이 중요하다. 연구에 따르면, 더 큰 모델과 고품질의 훈련 데이터는 A-Not-B 오류를 줄이는 데 도움이 된다. 따라서, LLM의 훈련 과정에서 더 많은 데이터와 다양한 예제를 포함시키는 것이 필요하다. 둘째, 자기 설명(self-explanation) 기법을 활용하여 LLM이 자신의 추론 과정을 설명하도록 유도할 수 있다. 이는 모델이 더 깊이 있는 사고를 하도록 도와줄 수 있지만, 연구 결과에 따르면 이 방법만으로는 A-Not-B 오류를 완전히 제거할 수는 없다. 셋째, 다양한 프롬프트 설계를 통해 LLM이 다양한 상황에서 적응할 수 있도록 훈련할 수 있다. 예를 들어, A-Not-B 프롬프트 외에도 B-Not-A와 같은 다양한 패턴을 포함시켜 모델이 더 넓은 범위의 상황을 학습하도록 유도할 수 있다. 마지막으로, 인간의 인지 과정을 모방하는 방법을 연구하여 LLM의 추론 능력을 향상시킬 수 있다. 이는 LLM이 인간의 인지 발달 과정을 이해하고 이를 기반으로 더 나은 추론을 할 수 있도록 돕는 방향으로 나아갈 수 있다.

LLM의 추론 과정과 인간의 추론 과정 사이의 근본적인 차이는 무엇일까?

LLM의 추론 과정과 인간의 추론 과정 사이에는 몇 가지 근본적인 차이가 있다. 첫째, 인지 발달의 차이이다. 인간은 유아기부터 점진적으로 인지 능력을 발전시키며, A-Not-B 오류와 같은 기본적인 인지 오류를 극복하는 데 시간이 걸린다. 반면, LLM은 훈련 데이터에 기반하여 즉각적으로 패턴을 학습하지만, 이러한 학습이 항상 신뢰할 수 있는 추론으로 이어지지는 않는다. 둘째, **이 inhibitory control(억제 조절 능력)**의 차이가 있다. 인간은 경험을 통해 이전의 습관적 반응을 억제하고 새로운 정보를 바탕으로 적응할 수 있는 능력을 발전시킨다. 그러나 LLM은 이러한 억제 조절 능력이 부족하여, 이전에 학습한 패턴에 의존하는 경향이 강하다. 셋째, 추론의 맥락 이해에서 차이가 있다. 인간은 상황에 따라 맥락을 이해하고 적절한 결정을 내릴 수 있는 능력이 있지만, LLM은 주어진 프롬프트와 데이터에만 의존하여 추론을 수행한다. 이러한 차이로 인해 LLM은 A-Not-B 오류와 같은 간단한 문제에서도 신뢰할 수 없는 결과를 도출할 수 있다.

LLM의 A-Not-B 오류가 다른 인지 능력과 어떤 상관관계가 있을까?

LLM의 A-Not-B 오류는 여러 인지 능력과 밀접한 상관관계를 가진다. 첫째, 억제 조절 능력과의 관계가 있다. A-Not-B 오류는 LLM이 이전에 학습한 패턴을 억제하지 못하고 잘못된 선택을 하는 경우로, 이는 억제 조절 능력이 부족함을 나타낸다. 둘째, **작업 기억(working memory)**과의 연관성이 있다. LLM이 새로운 정보를 처리하고 이전의 정보를 기억하는 능력은 작업 기억의 효율성에 달려 있으며, A-Not-B 오류는 이러한 작업 기억의 한계를 드러낸다. 셋째, **인지 유연성(cognitive flexibility)**과의 관계도 있다. LLM이 새로운 상황에 적응하고 이전의 패턴을 버리는 능력은 인지 유연성에 의해 좌우되며, A-Not-B 오류는 이러한 유연성이 부족함을 보여준다. 마지막으로, 추론 능력과의 관계도 중요하다. LLM이 A-Not-B 오류를 범할 때, 이는 복잡한 추론 과제를 해결하는 데 필요한 능력이 부족하다는 것을 의미하며, 이는 LLM의 전반적인 인지 능력의 한계를 나타낸다. 이러한 상관관계는 LLM의 인지 능력을 향상시키기 위한 연구 방향을 제시한다.