핵심 개념
확산 모델의 데이터 오염에 대한 내성을 높이기 위해 시간 의존적 Pseudo-Huber 손실 함수를 제안하였다. 이 방법은 초기 역확산 단계에서의 강건성과 최종 단계에서의 세부 정보 복원 사이의 균형을 유지할 수 있다.
초록
이 논문에서는 확산 모델의 데이터 오염에 대한 내성을 높이기 위한 방법을 제안한다. 기존의 확산 모델 학습은 평균 제곱 오차(MSE) 손실 함수를 사용하지만, 이는 이상치에 취약하다. 이에 저자들은 Pseudo-Huber 손실 함수를 사용하여 이상치에 대한 강건성을 높이는 방법을 제안한다.
구체적으로 저자들은 시간 의존적 Pseudo-Huber 손실 함수를 사용하여, 초기 역확산 단계에서의 강건성과 최종 단계에서의 세부 정보 복원 사이의 균형을 유지하는 방법을 제안한다. 이를 통해 오염된 데이터셋에서도 높은 품질의 생성 데이터를 얻을 수 있다.
저자들은 이미지 및 음성 도메인에서 실험을 수행하였으며, 제안한 방법이 기존 MSE 손실 함수 및 고정 Pseudo-Huber 손실 함수 대비 우수한 성능을 보임을 확인하였다.
통계
오염된 데이터셋에서도 제안한 방법이 기존 MSE 손실 함수 대비 더 높은 유사도 점수를 보였다.
제안한 방법은 오염 수준이 높아질수록 기존 방법과의 성능 차이가 더 크게 나타났다.
인용구
"확산 모델의 데이터 오염에 대한 내성을 높이기 위해 시간 의존적 Pseudo-Huber 손실 함수를 제안하였다."
"이 방법은 초기 역확산 단계에서의 강건성과 최종 단계에서의 세부 정보 복원 사이의 균형을 유지할 수 있다."