이 연구는 자기지도 학습 방법들의 성능을 저데이터 환경에서 비교 평가하였다.
먼저 자기지도 학습 방법들을 4가지 주요 범주(대조, 생성, 클러스터링, 자기 증류)로 분류하고 각 범주의 대표적인 방법들을 설명하였다.
이어서 50,000-300,000 이미지 규모의 저데이터 환경에서 각 범주의 대표 방법들을 실험적으로 평가하였다. 이를 통해 저데이터 환경에서 자기지도 학습이 무엇을 학습하는지, 그리고 각 범주의 방법들이 어떻게 동작하는지 분석하였다.
실험 결과, 도메인 특화 저데이터 자기지도 사전 학습이 일반 대규모 데이터 사전 학습보다 도메인 특화 하위 작업에서 더 나은 성능을 보였다. 이를 바탕으로 각 자기지도 범주의 성능에 대한 통찰과 향후 연구 방향을 제시하였다.
To Another Language
from source content
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Sotirios Kon... lúc arxiv.org 04-29-2024
https://arxiv.org/pdf/2404.17202.pdfYêu cầu sâu hơn