合成データを使った学習の弊害は何か？言語モデルの崩壊に関する統計的分析

合成データのみを使った学習では、言語モデルの性能が劣化し、元の分布の情報が失われる可能性がある。しかし、元のデータと合成データを適切に組み合わせて学習すれば、言語モデルの崩壊を防ぐことができる。