대규모 기계 학습 모델 학습 시 Flash Attention의 안정성 분석

대규모 기계 학습 모델 학습 시 발생하는 불안정성의 잠재적 원인으로 Flash Attention의 수치적 편차를 분석하고, 이를 다른 기법들과 비교하여 그 영향을 정량화하였다.