유제한 확률적 CCA: 다중 관점 및 자기 지도 학습의 통합
CCA 계열 방법은 다중 관점 학습에서 기반이 되는 기술이다. 정규화된 선형 CCA 방법은 부분 최소 제곱(PLS)을 일반화하고 일반화된 고유값 문제(GEP) 프레임워크와 통합될 수 있다. 그러나 이러한 선형 방법의 기존 알고리즘은 대규모 데이터에 대해 계산적으로 실행 불가능하다. 딥 CCA 확장은 큰 잠재력을 보여주지만, 현재의 학습 절차는 느리고 복잡하다. 우리는 GEP의 상위 부공간을 특성화하는 새로운 무제한 목적함수를 제안한다. 우리의 핵심 기여는 확률적 경사 하강법을 해당 CCA 목적함수에 적용하여 얻은 빠른 확률적 PLS, 확률적 CCA 및 딥 CCA 알고리즘 패밀리이다. 이러한 개선을 통해 우리는 영국 바이오뱅크의 매우 큰 생의학 데이터세트에 대한 최초의 PLS 분석을 수행할 수 있었다. 또한 우리는 CIFAR-10 및 CIFAR-100에서 'CCA 계열' 자기 지도 학습(SSL) 방법의 성능을 최소한의 하이퍼파라미터 튜닝으로 달성할 수 있었고, 이러한 방법과 고전적인 CCA 간의 관계에 대한 이론을 제시하여 향후 통찰력을 제공한다.
유제한 확률적 CCA: 다중 관점 및 자기 지도 학습의 통합
CCA 방법론의 가족은 다중 관점 학습에서 기반이 되는 기술이다. 정규화된 선형 CCA 방법은 부분 최소 제곱(PLS)을 일반화하고 일반화된 고유값 문제(GEP) 프레임워크와 통합될 수 있다. 그러나 이러한 선형 방법에 대한 기존 알고리즘은 대규모 데이터에 대해 계산적으로 실행 불가능하다. 딥 CCA 확장은 큰 잠재력을 보이지만, 현재의 학습 절차는 느리고 복잡하다. 우리는 GEP의 상위 부공간을 특성화하는 새로운 무제한 목적함수를 제안한다. 우리의 핵심 기여는 확률적 경사 하강법을 해당 CCA 목적함수에 적용하여 얻은 빠른 알고리즘 가족이다. 이 알고리즘은 기존 최첨단 기술보다 훨씬 빠르게 수렴하고 더 높은 상관관계를 복구한다. 이러한 개선을 통해 우리는 영국 바이오뱅크의 매우 큰 생물의학 데이터셋에 대한 최초의 PLS 분석을 수행할 수 있었다. 마지막으로 우리는 CIFAR-10 및 CIFAR-100에서 'CCA 가족' 자기 지도 학습(SSL) 방법의 성능을 최소한의 하이퍼파라미터 튜닝으로 달성할 수 있었고, 이러한 방법과 고전적인 CCA 간의 관계에 대한 이론을 제시하여 향후 통찰력을 제공한다.
© 2024 by Linnk AI