이 논문에서는 변환기에 순환 메커니즘을 추가하는 두 가지 주요 접근법인 깊이 방향 순환과 청크 방향 순환을 연구하고, 이를 확장 및 결합한 새로운 방법을 제안하고 조사한다. 또한 다양한 진단 작업에서 모델들을 비교하고 귀납적 편향을 탐구한다.
