이 논문은 온라인 클래스 증분 학습(OCIL) 문제를 다룬다. OCIL은 새로운 클래스 데이터가 미니 배치 단위로 순차적으로 제공되며, 이전 데이터에 접근할 수 없는 상황에서 모델을 학습하는 것을 목표로 한다. 이 문제의 주요 과제는 과거 지식의 손실, 즉 재앙적 망각이다.
저자들은 예시 없는 접근법인 분석적 온라인 클래스 증분 학습(AOCIL)을 제안한다. AOCIL은 고정된 Vision Transformer(ViT) 백본 네트워크와 분석적 분류기(AC)로 구성된다. ViT는 특징 추출에 사용되며 고정되어 있어 과거 지식 손실을 방지한다. AC는 역전파 대신 재귀 최소 제곱 방식으로 업데이트되어 최근 편향을 해결하고 계산량을 줄인다.
AOCIL은 데이터 프라이버시를 보호하고 자원 소비를 최소화하면서도 높은 정확도를 달성한다. 4개의 벤치마크 데이터셋에 대한 실험 결과, AOCIL은 다른 예시 없는 방법들보다 우수한 성능을 보였고, 일부 재현 기반 방법들과 비슷한 수준의 정확도를 달성했다. 또한 AOCIL은 GPU 메모리 사용량과 학습 시간 측면에서도 큰 이점을 보였다.
To Another Language
from source content
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Huiping Zhua... lúc arxiv.org 03-26-2024
https://arxiv.org/pdf/2403.15751.pdfYêu cầu sâu hơn