
본 연구는 합성곱 주의 패치 임베딩(CAPE)을 통해 패치 과정에서의 특징 추출을 향상시키고, 지역 합성곱 토큰 혼합기와 전역 전치 자기 주의 토큰 혼합기를 병렬로 통합하여 지역 및 전역 의존성을 효과적으로 추출하는 ParFormer 아키텍처를 제안한다.


coremsg

병렬-지역-및-전역-토큰-혼합기와-합성곱-주의-패치-임베딩을-사용한-비전-트랜스포머-기준선


병렬 지역 및 전역 토큰 혼합기와 합성곱 주의 패치 임베딩을 사용한 비전 트랜스포머 기준선



적응형 날카로움 인지 가지치기(AdaSAP)는 신경망의 견고성과 압축성을 동시에 최적화하는 방법이다. 이를 통해 입력 변화에 강인한 희소 신경망을 생성할 수 있다.



적응형 날카로움 인지 가지치기를 통한 견고한 희소 신경망 생성
