이 연구는 대규모 언어 모델(LLM)의 내부 메커니즘을 인간 행동 관점에서 탐구한다. 구체적으로 피드 포워드 네트워크(FFN)와 다중 헤드 자기 주의 메커니즘(MHSA)의 기능을 분석하기 위해 눈 추적 데이터와의 상관관계를 조사했다.
연구 결과, LLM은 인간의 읽기 패턴과 유사한 예측 패턴을 보이지만, 상위 레이어에서는 중요하지 않은 단어에 더 많은 주의를 기울이는 등 인간과 구별되는 특성을 나타냈다. FFN의 경우 중간 레이어에서 인간 주시 패턴과 가장 유사해지며, MHSA는 상위 레이어로 갈수록 인간 주시 패턴과 더 강한 상관관계를 보였다.
또한 LLM과 얕은 언어 모델(SLM)의 예측 확률 행동을 비교한 결과, LLM은 중요한 단어에 더 많은 주의를 기울일수록 예측 확률이 높아지는 인간 행동과 유사한 패턴을 보였지만, SLM은 반대의 경향을 나타냈다.
이러한 결과는 LLM의 내부 메커니즘을 이해하고 신뢰할 수 있는 모델을 개발하는 데 도움이 될 것으로 기대된다.
Egy másik nyelvre
a forrásanyagból
arxiv.org
Mélyebb kérdések