본 논문은 변환기에 상대 위치 인코딩(RPE) 메커니즘을 효율적으로 통합하는 새로운 클래스의 선형 변환기인 FourierLearner-Transformers(FLTs)를 제안한다. FLTs는 푸리에 변환을 통해 RPE 마스크를 암시적으로 구축하여 선형 시간 및 공간 복잡성을 유지하면서도 다양한 RPE 기법을 적용할 수 있다.
