본 연구는 기존 Transformer 모델의 계산 복잡도를 크게 낮추면서도 성능을 유지할 수 있는 DiJiang이라는 새로운 주파수 영역 커널화 기법을 제안한다. 가중치가 부여된 준-몬테카를로 샘플링과 이산 코사인 변환을 활용하여 선형 복잡도의 주의 메커니즘을 구현함으로써, 대규모 언어 모델의 학습 및 추론 비용을 크게 절감할 수 있다.
