Основні поняття
제한된 계산 자원 하에서 희소 레이블 데이터 스트림을 효과적으로 활용하여 지속적 학습을 수행하는 방법을 제안한다.
Анотація
이 논문은 실제 세계의 데이터 스트림 환경에서 지속적 학습을 수행하는 문제를 다룬다. 데이터 스트림은 비정상적이며 레이블이 희소한 특성을 가지고 있다. 또한 학습 알고리즘은 제한된 계산 자원 내에서 동작해야 한다.
저자들은 이러한 현실적인 제약 조건 하에서 지속적 학습을 수행하기 위한 새로운 접근법인 DietCL을 제안한다. DietCL은 레이블이 있는 데이터와 레이블이 없는 데이터를 효과적으로 활용하여 학습을 수행한다. 특히 제한된 계산 자원을 레이블이 있는 데이터와 레이블이 없는 데이터에 적절히 할당하는 메커니즘을 도입하여 성능을 향상시킨다.
실험 결과, DietCL은 ImageNet10k, CLOC, CGLM 등의 대규모 데이터셋에서 기존 지속적 학습 방법들을 크게 능가하는 성능을 보였다. 또한 레이블 비율, 계산 자원, 데이터 스트림 길이 등 다양한 실험 환경에서 안정적인 성능을 보였다.
Статистика
데이터 스트림에서 매 시간 단계마다 약 500개의 이미지가 제공되며, 이 중 1%만 레이블이 있다.
총 계산 예산은 500 단계로 제한된다.
Цитати
"이러한 시간 제약은 알고리즘에 대한 제한뿐만 아니라 레이블의 수에 대한 제한도 가져온다."
"기존 문헌은 이 문제를 인식하고 해결책을 찾기 위해 노력해 왔지만, 대부분의 온라인 지속적 학습 연구는 계산 및 시간 규제화를 간과했다."