Khái niệm cốt lõi
사전 학습된 전체 정밀도 모델을 활용하여 다양한 장기 꼬리 데이터셋에 적응하고, 이를 통해 이진 신경망 학습을 위한 교사 모델로 활용하는 방법을 제안한다.
Tóm tắt
이 논문은 실제 환경에 딥러닝 모델을 배포할 때 발생하는 계산 효율성과 실세계 데이터 분포(예: 장기 꼬리) 문제를 다룬다. 저자들은 이진 신경망을 사용하여 장기 꼬리 분포를 학습하는 문제를 해결하기 위한 방법을 제안한다.
구체적으로 다음과 같은 내용을 다룬다:
- 사전 학습된 전체 정밀도 모델을 활용하여 다양한 장기 꼬리 데이터셋에 적응하는 "보정 및 증류" 프레임워크를 제안한다. 이를 통해 장기 꼬리 데이터에 대한 추가 감독 신호를 얻을 수 있다.
- 목적 함수의 균형을 조절하는 새로운 적대적 균형 기법을 제안한다. 이를 통해 다양한 데이터 분포에 일반화할 수 있다.
- 계산 효율적인 다중 해상도 학습 방식을 제안한다. 이를 통해 다양한 입력 해상도에 대한 강건성을 확보할 수 있다.
- 15개의 다양한 장기 꼬리 벤치마크 데이터셋을 사용하여 광범위한 실험을 수행하였으며, 제안 방법이 기존 기법들을 크게 능가함을 보였다(평균 정확도 +14.33% 이상).
Thống kê
다양한 장기 꼬리 데이터셋을 활용하여 실험을 수행하였으며, 이는 기존 문헌에서 가장 큰 규모의 실험이다.
15개의 데이터셋 중 12개는 기존 균형 데이터셋을 언더샘플링하여 생성한 장기 꼬리 데이터셋이며, 3개는 기존 장기 꼬리 벤치마크 데이터셋이다.
Trích dẫn
"Deploying deep models in real-world scenarios entails a number of challenges, including computational efficiency and real-world (e.g., long-tailed) data distributions."
"To better generalize to various datasets, we further propose a novel adversarial balancing among the terms in the objective function and an efficient multiresolution learning scheme."
"We conducted the largest empirical study in the literature using 15 datasets, including newly derived long-tailed datasets from existing balanced datasets, and show that our proposed method outperforms prior art by large margins (> 14.33% on average)."