Główne pojęcia
불균형 데이터에서의 클래스 증분 학습 문제를 해결하기 위해 FC 레이어의 그래디언트를 재가중치하여 균형 잡힌 최적화와 편향되지 않은 분류기 학습을 달성한다.
Streszczenie
본 연구는 클래스 증분 학습(CIL) 문제에서 데이터 불균형으로 인한 두 가지 도전과제, 즉 클래스 간 불균형(inter-phase imbalance)과 클래스 내 불균형(intra-phase imbalance)을 해결하기 위한 방법을 제안한다.
- 인트라-페이즈 불균형 해결
- 누적 그래디언트 정보를 활용하여 클래스별 균형 가중치 α를 동적으로 계산
- 가중치 조정된 그래디언트를 사용하여 균형 잡힌 최적화 달성
- 정규화된 소프트맥스 크로스엔트로피 손실 함수 적용으로 헤드 클래스의 과도한 학습 억제
- 인터-페이즈 불균형 해결
- 분포 인식 지식 증류(DAKD) 손실 도입
- 이전 학습 단계에서 소실된 데이터 분포를 고려하여 헤드 클래스에 대한 강력한 정규화 효과 제공
- 분리된 그래디언트 재가중치(DGR) 프레임워크
- 새로운 클래스와 기존 클래스의 그래디언트를 별도로 조정하여 안정성과 가소성의 균형 달성
제안 방법은 CIFAR100-LT, ImageNetSubset-LT, Food101-LT 데이터셋에서 기존 방법 대비 우수한 성능을 보였으며, 장기 꼬리 인식 작업에서도 효과적인 것으로 나타났다.
Statystyki
새로운 클래스와 기존 클래스 간 누적 그래디언트 비율 rΦi = Φj∈Y1:t−1i / Φj∈Yti
소실된 데이터 분포 sj = |Xj| - |Xje| (j ∈ Y1:t−1)
Cytaty
"본 연구는 CIL 문제에서 데이터 불균형으로 인한 두 가지 도전과제, 즉 클래스 간 불균형(inter-phase imbalance)과 클래스 내 불균형(intra-phase imbalance)을 해결하기 위한 방법을 제안한다."
"가중치 조정된 그래디언트를 사용하여 균형 잡힌 최적화 달성"
"분포 인식 지식 증류(DAKD) 손실 도입으로 이전 학습 단계에서 소실된 데이터 분포를 고려하여 헤드 클래스에 대한 강력한 정규화 효과 제공"