언어 모델의 성능은 모델 크기나 학습 데이터 양보다는 사전 학습 손실 함수에 의해 결정된다. 일부 과제에서는 사전 학습 손실이 특정 임계값 이하로 낮아질 때 성능이 급격히 향상되는 '잠재력 발현' 현상이 관찰된다.
