본 연구는 합성곱 주의 패치 임베딩(CAPE)을 통해 패치 과정에서의 특징 추출을 향상시키고, 지역 합성곱 토큰 혼합기와 전역 전치 자기 주의 토큰 혼합기를 병렬로 통합하여 지역 및 전역 의존성을 효과적으로 추출하는 ParFormer 아키텍처를 제안한다.
적응형 날카로움 인지 가지치기(AdaSAP)는 신경망의 견고성과 압축성을 동시에 최적화하는 방법이다. 이를 통해 입력 변화에 강인한 희소 신경망을 생성할 수 있다.