핵심 개념
대규모 언어 모델은 인간의 읽기 패턴과 유사한 예측 패턴을 보이지만, 상위 레이어에서는 중요하지 않은 단어에 더 많은 주의를 기울이는 등 인간과 구별되는 특성을 나타낸다.
초록
이 연구는 대규모 언어 모델(LLM)의 내부 메커니즘을 인간 행동 관점에서 탐구한다. 구체적으로 피드 포워드 네트워크(FFN)와 다중 헤드 자기 주의 메커니즘(MHSA)의 기능을 분석하기 위해 눈 추적 데이터와의 상관관계를 조사했다.
연구 결과, LLM은 인간의 읽기 패턴과 유사한 예측 패턴을 보이지만, 상위 레이어에서는 중요하지 않은 단어에 더 많은 주의를 기울이는 등 인간과 구별되는 특성을 나타냈다. FFN의 경우 중간 레이어에서 인간 주시 패턴과 가장 유사해지며, MHSA는 상위 레이어로 갈수록 인간 주시 패턴과 더 강한 상관관계를 보였다.
또한 LLM과 얕은 언어 모델(SLM)의 예측 확률 행동을 비교한 결과, LLM은 중요한 단어에 더 많은 주의를 기울일수록 예측 확률이 높아지는 인간 행동과 유사한 패턴을 보였지만, SLM은 반대의 경향을 나타냈다.
이러한 결과는 LLM의 내부 메커니즘을 이해하고 신뢰할 수 있는 모델을 개발하는 데 도움이 될 것으로 기대된다.
통계
중간 레이어의 FFN 값은 인간의 주시 시간(GD, TRT, FFD, GPT)과 강한 양의 상관관계를 보였다.
상위 레이어의 FFN 값은 인간의 주시 시간과 상관관계가 감소했다.
MHSA 값은 상위 레이어로 갈수록 인간 주시 패턴과 더 강한 상관관계를 보였다.
LLM은 중요한 단어에 더 많은 주의를 기울일수록 예측 확률이 높아지는 인간 행동과 유사한 패턴을 보였지만, SLM은 반대의 경향을 나타냈다.
인용구
"LLM은 인간의 읽기 패턴과 유사한 예측 패턴을 보이지만, 상위 레이어에서는 중요하지 않은 단어에 더 많은 주의를 기울이는 등 인간과 구별되는 특성을 나타낸다."
"FFN의 경우 중간 레이어에서 인간 주시 패턴과 가장 유사해지며, MHSA는 상위 레이어로 갈수록 인간 주시 패턴과 더 강한 상관관계를 보였다."
"LLM은 중요한 단어에 더 많은 주의를 기울일수록 예측 확률이 높아지는 인간 행동과 유사한 패턴을 보였지만, SLM은 반대의 경향을 나타냈다."