대규모 언어 모델을 활용하여 생성한 합성 데이터는 단순한 자연어 처리 작업에서는 실제 데이터와 유사한 성능을 보이지만, 복잡한 작업에서는 그렇지 않다. 또한 모델 크기에 따라 자신이 생성한 데이터에 대한 편향성이 다르게 나타난다.