인덕션 헤드가 제대로 작동하기 위해서는 무엇이 필요한가? 문맥 학습 회로의 메커니즘과 형성 과정에 대한 연구

인덕션 회로는 이전 토큰을 매칭하고 복사하는 작업을 수행하며, 이러한 회로의 형성 과정에는 세 가지 상호작용하는 하위 회로가 관여한다.