Kernkonzepte
불변 위험 최소화(IRM)는 수학적으로 전체 변동(TV) 기반 L2 노름(TV-ℓ2)으로 설명될 수 있다. 또한 TV-ℓ1 모델 기반의 새로운 IRM 프레임워크를 제안한다. 이는 학습 위험 함수의 클래스를 확장하고 코면적 공식에 기반한 강건한 성능을 제공한다.
Zusammenfassung
이 논문은 불변 위험 최소화(IRM)의 수학적 본질을 조사한다.
첫째, IRM이 본질적으로 전체 변동 기반 L2 노름(TV-ℓ2) 모델임을 검증한다. 이를 위해 몇 가지 필요 조건을 제시한다.
둘째, TV-ℓ1 모델 기반의 새로운 IRM 프레임워크(IRM-TV-ℓ1)를 제안한다. IRM-TV-ℓ1은 두 가지 장점을 가진다: 1) TV-ℓ1 적분 가능 함수 집합이 TV-ℓ2 적분 가능 함수 집합보다 크므로 더 많은 종류의 학습 위험 함수를 허용할 수 있다. 2) TV-ℓ1은 코면적 공식에 기반하여 강건한 성능을 보인다.
셋째, IRM-TV-ℓ1이 분포 외 일반화를 달성하기 위한 요구 사항을 조사한다. 이는 유연한 페널티 매개변수, 훈련 환경 집합의 확장성, 측도의 정확성 등이다.
실험 결과는 제안된 프레임워크가 다양한 벤치마크 기계 학습 시나리오에서 경쟁력 있는 성능을 달성함을 보여준다.
Statistiken
학습 위험 R(w ◦Φ, e)은 환경 e에 따른 예측값 w ◦Φ(x)와 실제값 y 간의 평균 손실이다.
IRM은 전체 위험을 최소화하면서 각 환경에서 w가 위험을 최소화하도록 강제한다.
IRM-TV-ℓ1은 TV-ℓ1 노름을 최소화하여 환경에 강건한 학습 위험 함수를 학습한다.
Zitate
"IRM은 본질적으로 전체 변동 기반 L2 노름(TV-ℓ2)이다."
"IRM-TV-ℓ1은 TV-ℓ1 적분 가능 함수 집합이 더 크므로 더 많은 종류의 학습 위험 함수를 허용할 수 있다."
"IRM-TV-ℓ1은 코면적 공식에 기반하여 강건한 성능을 보인다."