사전 학습된 트랜스포머 모델은 순차적 의사결정 문제에서 기존의 구조화된 알고리즘보다 우수한 성능을 보인다. 이는 사전 학습 데이터를 효과적으로 활용하고, 모델 오류 문제를 잘 다룰 수 있기 때문이다.
