대규모 트랜스포머 사전 학습 가속화: 2:4 희소성 활용

2:4 희소성을 활용하여 트랜스포머 사전 학습 속도를 높이는 방법을 제안한다. 정확도 저하 없이 실제 가속화를 달성하기 위해 마스크 감쇠, 밀집 미세 조정 등의 기술을 개발했다.