모델 아키텍처와 인-컨텍스트 학습 능력 간의 관계를 실증적으로 탐구하였다. 다양한 모델 아키텍처를 평가한 결과, 주목 메커니즘이 필수적이지 않으며 다양한 아키텍처가 인-컨텍스트 학습 능력을 보유하고 있음을 발견하였다. 또한 일부 주목 대안 모델이 때로는 변압기 모델보다 우수한 인-컨텍스트 학습 성능을 보였다.
