Core Concepts
반지도 학습 모델의 잠재 공간 표현을 개선하기 위해 모멘트 기반 임베딩 제약을 도입하고, 이를 축 정렬 가우시안 혼합 모델 (AAGMM) 출력층과 결합하여 조건부 확률뿐만 아니라 결합 확률 분포를 학습할 수 있게 한다.
Abstract
이 논문은 반지도 학습 모델의 잠재 공간 표현을 개선하기 위한 방법을 제안한다. 기존 모델은 조건부 확률 p(Y|X)만을 예측하지만, 이는 이상치에 취약하다는 문제가 있다. 이를 해결하기 위해 저자들은 모멘트 방법 (Method of Moments, MoM)을 기반으로 한 새로운 임베딩 제약을 도입했다.
제안된 MoM 제약은 1차부터 4차 모멘트까지 다양한 차수의 하이퍼 공분산 행렬을 활용하여 잠재 공간의 분포를 표준 정규 분포에 가깝게 만든다. 또한 저자들은 축 정렬 가우시안 혼합 모델 (AAGMM) 출력층을 제안했는데, 이는 조건부 확률뿐만 아니라 결합 확률 분포 p(Y,X)도 학습할 수 있다.
실험 결과, 제안된 MoM 제약과 AAGMM 출력층을 적용한 모델은 기존 방법과 유사한 성능을 보이면서도 이상치에 대한 강건성을 높일 수 있었다. 또한 잠재 공간의 클러스터 구조를 더 잘 학습할 수 있었다. 저자들은 이상치 제거 전략에 대한 추가 연구의 필요성을 제시했다.
Stats
잠재 공간 상의 각 테스트 데이터 포인트와 할당된 클러스터 간 평균 L2 거리:
CIFAR-10, AAGMM, 제약 없음: 1.03
CIFAR-10, AAGMM, 1차 모멘트 제약: 0.58
CIFAR-10, AAGMM, 2차 모멘트 제약: 0.53
STL-10, AAGMM, 제약 없음: 2.32
STL-10, AAGMM, 1차 모멘트 제약: 0.79
STL-10, AAGMM, 2차 모멘트 제약: 0.76