다층 트랜스포머 모델의 학습 과정을 이해하기 위해 MLP 층과 자기 주의 층의 결합 동역학을 분석하였다. 이를 통해 주의 메커니즘이 처음에는 중요 토큰에 집중하다가 점차 덜 중요한 토큰으로 확장되는 양상을 보인다는 것을 밝혀냈다.
