LLM 모델의 정확성과 효율성을 높이기 위한 t-분포 기반 데이터 형식 탐구

LLM 모델의 가중치와 활성화 분포가 주로 t-분포를 따르므로, 이를 고려한 Student Float (SF4) 데이터 형식을 제안하여 기존 Normal Float (NF4) 대비 모델 정확성을 향상시킬 수 있다. 또한 이를 기반으로 E2M1과 APoT4 데이터 형식의 변형을 통해 정확성과 하드웨어 효율성의 균형을 달성할 수 있다.