AutoFT: Learning an Objective for Robust Fine-Tuning

Core Concepts

AUTOFT is a data-driven approach that significantly improves generalization to out-of-distribution inputs, surpassing existing methods.

Abstract

Foundation models encode rich representations adaptable to downstream tasks by fine-tuning. AUTOFT proposes a data-driven approach for robust fine-tuning, enhancing out-of-distribution generalization. Bi-level optimization is used to search for an objective function and hyperparameters. AUTOFT achieves state-of-the-art performance on WILDS iWildCam and FMoW benchmarks. The method is computationally inexpensive, requiring minimal additional compute compared to standard fine-tuning. AUTOFT consistently outperforms existing methods in OOD metrics across various distribution shifts. The learned objective is task-specific and not universal. The choice of validation set and hyperparameter optimization algorithm significantly impacts performance. AUTOFT improves OOD generalization with limited data in few-shot classification tasks. The method is competitive with standard transfer learning methods on various datasets.

Stats

AUTOFT는 기존 방법을 훌륭하게 능가하는 OOD 입력에 대한 일반화를 크게 향상시키는 데이터 주도 접근 방식입니다. AUTOFT는 WILDS iWildCam 및 FMoW 벤치마크에서 최첨단 성능을 달성합니다.

Quotes

"AUTOFT는 OOD 입력에 대한 일반화를 크게 향상시키는 데이터 주도 접근 방식입니다." "AUTOFT는 WILDS iWildCam 및 FMoW 벤치마크에서 최첨단 성능을 달성합니다."

Key Insights Distilled From

AutoFT

by Caroline Cho... at arxiv.org 03-08-2024

https://arxiv.org/pdf/2401.10220.pdf

Deeper Inquiries

다른 작업에 대한 학습된 목적은 어떻게 전이되는가?

이 연구에서는 WILDS-iWildCam에서 학습된 목적을 WILDS-FMoW에 전이하는 실험을 통해 학습된 목적의 전이 가능성을 평가했습니다. 결과적으로, WILDS-iWildCam에서 학습된 목적을 사용하여 WILDS-FMoW에서 성능을 평가한 경우, 성능이 저하되었습니다. 이는 학습된 목적이 보편적이지 않고 특정 작업에 특화되어 있음을 시사합니다. 따라서 학습된 목적은 해당 작업에 최적화되어야 하며, 다른 작업으로의 전이는 성능을 저하시킬 수 있음을 보여줍니다.

검증 세트 및 하이퍼파라미터 최적화 알고리즘의 선택이 성능에 미치는 영향은 무엇인가?

검증 세트의 크기와 종류는 AUTOFT의 성능에 영향을 미칩니다. 실험 결과에 따르면, ID 검증 세트를 사용하면 ID 성능이 향상되고, OOD 검증 세트를 사용하면 OOD 성능이 향상됩니다. 또한, 하이퍼파라미터 최적화 알고리즘의 선택도 성능에 영향을 줍니다. Tree-Structured Parzen Estimator (TPE)가 다른 알고리즘보다 우수한 성능을 보여주었습니다.

AUTOFT는 적은 데이터로도 OOD 일반화를 향상시키는가?

AUTOFT는 적은 데이터로도 OOD 일반화를 향상시킵니다. 실험 결과에 따르면, AUTOFT는 다양한 분포 변화 조건에서 OOD 일반화를 개선하며, 이러한 이점은 초기 모델과 세밀하게 조정된 모델을 앙상블하는 것과 상호 보완적인 것으로 나타났습니다. 또한, AUTOFT는 적은 데이터로도 효과적인 강건한 적응을 제공하며, 이는 OOD 평가 조건이나 적은 데이터 학습과 같은 고도로 미정의된 환경에서 가장 유용하다는 초기 직감을 확인합니다.