Kernekoncepter
대규모 언어 모델(LLM)의 메모리 사용량을 줄이기 위해 레이어 간 파라미터 공유를 활용한 SVD 기반 압축 기법인 기반 공유(Basis Sharing)를 제안하며, 이는 다양한 LLM에서 최첨단 성능을 달성한다.
Resumé
대규모 언어 모델 압축을 위한 교차 레이어 파라미터 공유 기반 공유 연구 논문 요약
Jingcun Wang, Yu-Guang Chen, Ing-Chao Lin, Bing Li, Grace Li Zhang. (2024). BASIS SHARING: CROSS-LAYER PARAMETER SHARING FOR LARGE LANGUAGE MODEL COMPRESSION. arXiv preprint arXiv:2410.03765v1.
본 연구는 대규모 언어 모델(LLM)의 크기와 복잡성을 줄여 리소스 제약이 있는 기기에서도 효율적인 배포를 가능하게 하는 새로운 모델 압축 기술을 제안한다.