Główne pojęcia
자기지도 학습을 위한 데이터셋 증류 기법을 제안하여 전이 학습 성능을 향상시킬 수 있다.
Streszczenie
이 논문은 자기지도 학습을 위한 데이터셋 증류 문제를 제안한다. 기존의 데이터셋 증류 방법들은 지도 학습 문제에 초점을 맞추고 있어 자기지도 학습을 위한 데이터셋 증류에는 적합하지 않다. 이에 저자들은 자기지도 학습 목적함수를 이용하여 데이터셋을 증류하는 새로운 방법을 제안한다.
먼저 저자들은 기존 방법에서 자기지도 학습 목적함수를 사용할 경우 불안정한 최적화 문제가 발생함을 이론적으로 분석한다. 이를 해결하기 위해 저자들은 합성 데이터와 목표 표현 간의 평균 제곱 오차(MSE)를 최소화하는 내부 목적함수와, 내부 모델의 표현과 자기지도 학습 모델의 표현 간의 MSE를 최소화하는 외부 목적함수를 제안한다.
또한 계산 비용을 줄이기 위해 특징 추출기를 고정하고 선형 헤드만 최적화하는 커널 릿지 회귀 기반의 접근법을 사용한다. 이를 통해 저자들은 KRR-ST라는 자기지도 데이터셋 증류 방법을 제안한다.
실험 결과, KRR-ST는 다양한 전이 학습 시나리오에서 기존 방법들을 크게 능가하는 성능을 보였다. 특히 아키텍처 일반화 및 타겟 데이터 없는 지식 증류 실험에서 두드러진 성과를 보였다.
Statystyki
합성 데이터와 목표 표현 간의 MSE를 최소화하는 것이 안정적인 최적화를 가능하게 한다.
내부 모델의 표현과 자기지도 학습 모델의 표현 간의 MSE를 최소화하는 것이 전이 학습 성능 향상에 기여한다.
커널 릿지 회귀를 통해 계산 비용을 크게 줄일 수 있다.
Cytaty
"자기지도 학습을 위한 데이터셋 증류 기법을 제안하여 전이 학습 성능을 향상시킬 수 있다."
"합성 데이터와 목표 표현 간의 MSE를 최소화하는 것이 안정적인 최적화를 가능하게 한다."
"내부 모델의 표현과 자기지도 학습 모델의 표현 간의 MSE를 최소화하는 것이 전이 학습 성능 향상에 기여한다."
"커널 릿지 회귀를 통해 계산 비용을 크게 줄일 수 있다."