Khái niệm cốt lõi
폐쇄 루프 학습에서 생성 모델은 외부 데이터가 충분히 주입되지 않으면 결과가 퇴화되어 일부 출력은 생성되지 않고 나머지는 균일하게 생성되게 된다.
Tóm tắt
이 논문은 생성 모델이 자신이 생성한 데이터로 학습하는 폐쇄 루프 학습 과정을 분석한다.
먼저 생성 모델의 온도 매개변수에 따른 세 가지 경우로 나누어 분석한다:
온도가 1인 경우: 모델은 초기 데이터 분포를 유지하지만, 작은 외부 교란에도 불안정해질 수 있다.
온도가 1보다 큰 경우: 모델은 일부 출력은 생성되지 않고 나머지는 균일하게 생성되는 상태로 수렴한다.
온도가 1보다 작은 경우: 모델은 대부분의 출력 확률이 0에 수렴하고 일부 출력만 지배적으로 생성되는 상태로 수렴한다.
이러한 퇴화 현상은 모델의 학습 정확도와 초기 데이터 분포 유지 사이의 근본적인 트레이드오프를 보여준다. 정확한 모델일수록 데이터 분포가 더 빨리 퇴화된다. 따라서 초기 데이터를 보존하고 주기적으로 재주입하는 것이 중요하다.
이 결과는 대규모 생성 모델이 인터넷 데이터로 학습할 때 발생할 수 있는 문제를 예측한다. 모델이 생성한 데이터가 다시 모델의 학습에 포함되면 결국 모든 지식이 소실될 수 있다.
Thống kê
생성 모델의 출력 확률 벡터를 Θ(k)라 하면, 폐쇄 루프 학습 과정에서 Θ(k)는 다음과 같이 업데이트된다:
Θ(k + 1) = Θ(k) + 1/(k+1) * (τ(Θ(k)) - Θ(k) + U(k+1))
여기서 τ는 온도 함수이고 U(k+1)은 마팅게일 차분 수열이다.
Trích dẫn
"폐쇄 루프 학습 과정에서 생성 모델은 외부 데이터가 충분히 주입되지 않으면 결과가 퇴화되어 일부 출력은 생성되지 않고 나머지는 균일하게 생성되게 된다."
"정확한 모델일수록 데이터 분포가 더 빨리 퇴화된다. 따라서 초기 데이터를 보존하고 주기적으로 재주입하는 것이 중요하다."