Conceitos essenciais
도메인 일반화 알고리즘의 정확하고 공정한 평가를 위해서는 사전 학습 가중치와 단일 테스트 도메인 사용에 따른 테스트 데이터 정보 누출 문제를 해결해야 한다.
Resumo
이 논문은 도메인 일반화 알고리즘의 평가 프로토콜에 대해 재고찰한다. 현재 프로토콜에서는 ImageNet 감독 학습 사전 학습 가중치와 단일 테스트 도메인 사용으로 인해 테스트 데이터 정보 누출의 위험이 있음을 지적한다.
구체적으로 다음과 같은 문제점을 제기한다:
- ImageNet 감독 학습 사전 학습 가중치 사용으로 인해 테스트 도메인 성능이 실제 도메인 일반화 능력이 아닌 사전 학습 가중치 활용도에 의해 좌우될 수 있다.
- 단일 테스트 도메인 사용으로 인해 하이퍼파라미터 튜닝 및 모델 선택 과정에서 테스트 데이터 정보 누출이 발생할 수 있다.
이를 해결하기 위해 다음과 같은 개선 방안을 제안한다:
- 자기 지도 학습 사전 학습 가중치 또는 무작위 초기화를 사용하여 테스트 데이터 정보 누출을 줄인다.
- 다중 테스트 도메인을 사용하여 하이퍼파라미터 튜닝 및 모델 선택 과정에서의 테스트 데이터 정보 누출을 완화한다.
이를 바탕으로 새로운 리더보드를 제시하며, 기존 프로토콜 대비 알고리즘 순위 변화를 통해 현재 프로토콜의 문제점을 확인한다.
Estatísticas
감독 학습 사전 학습 ResNet-50으로 PACS 데이터셋에서 실험한 결과, 단순 선형 프로빙(LP)이 전체 네트워크 미세 조정(FT)보다 성능이 높게 나타났다.
VLCS와 OfficeHome 데이터셋에서도 LP가 FT보다 성능이 높거나 유사하게 나타났다.
이는 테스트 도메인 성능이 실제 도메인 일반화 능력이 아닌 사전 학습 가중치 활용도에 의해 좌우됨을 시사한다.
Citações
"Since domain generalization is depicted as the ability to learn a model from diverse training domains that can generalize to unseen/unknown test data [76, 95], we should try to mitigate possible test data information leakage for a more precise evaluation of the OOD generalization ability."
"To address such an issue, it is safest to train from scratch to purely evaluate domain generalization. However, on one hand, with the remarkable development and broad application of pretrained models these days [5, 60], it is too limited and not common practice to train from scratch in real applications without benefiting from pretraining."