합성 데이터로 학습하면 언어 모델이 얼마나 나빠지는가? 통계적 분석

합성 데이터로만 학습하면 언어 모델의 성능이 점점 악화되어 결국 붕괴에 이르지만, 실제 데이터와 합성 데이터를 적절히 혼합하여 학습하면 붕괴를 방지할 수 있다.