Belangrijkste concepten
Reduced Jeffries-Matusita 거리 손실 함수를 사용하면 심층 분류 모델의 일반화 성능을 향상시킬 수 있다.
Samenvatting
이 논문에서는 심층 신경망 기반 분류 모델의 일반화 성능 향상을 위해 Reduced Jeffries-Matusita (RJM) 거리 손실 함수를 제안한다.
- 이론적 분석을 통해 손실 함수의 Lipschitz 상수와 최대값이 모델의 일반화 성능에 영향을 미친다는 것을 보였다.
- RJM 손실 함수는 기존의 Cross-Entropy 손실 함수보다 Lipschitz 상수와 최대값이 더 작아 일반화 성능이 향상된다.
- 이미지 분류와 노드 분류 실험에서 RJM 손실 함수를 사용한 모델이 Cross-Entropy 손실 함수를 사용한 모델보다 정확도와 F1-score가 향상되었다.
Statistieken
이미지 분류 실험에서 RJM 손실 함수를 사용한 ResNet50 모델의 정확도는 93.33%, F1-score는 93.44%로 Cross-Entropy 손실 함수를 사용한 모델보다 향상되었다.
노드 분류 실험에서 RJM 손실 함수를 사용한 GAT 모델의 정확도는 62.40%, F1-score는 59.91%로 Cross-Entropy 손실 함수를 사용한 모델보다 향상되었다.
Citaten
"이 논문에서는 이론적 분석을 통해 손실 함수의 Lipschitz 상수와 최대값이 모델의 일반화 성능에 영향을 미친다는 것을 보였다."
"RJM 손실 함수는 기존의 Cross-Entropy 손실 함수보다 Lipschitz 상수와 최대값이 더 작아 일반화 성능이 향상된다."