언어 모델은 현재 토큰 예측에 필요한 특징만 계산하며, 미래 토큰 예측을 위해 특별히 사전에 정보를 준비하지 않는다. 대신 현재 토큰 예측에 유용한 특징들이 자연스럽게 미래 토큰 예측에도 도움이 된다.
