大規模言語モデルの世代間学習による劣化現象

大規模言語モデルを世代を重ねて学習していくと、徐々に元の言語分布の情報が失われ、モデルの性能が劣化していく現象が起こる。