Conceptos Básicos
대규모 스트리밍 추천 시스템의 실시간 요구 사항을 충족하기 위해 증분 행렬 스케치 및 분해를 통해 빠르고 효율적인 2차 온라인 커널 학습 방법(FORKS)을 제안합니다.
Resumen
FORKS: 증분 행렬 스케치 및 분해를 통한 빠른 2차 온라인 커널 학습
본 연구 논문에서는 스트리밍 추천 시스템의 실시간 성능 및 강력성 요구 사항을 충족하기 위해 고안된 FORKS(Fast Second-Order Online Kernel Learning Using Incremental Sketching)라는 새롭고 효율적인 2차 온라인 커널 학습 방법을 제안합니다.
본 연구의 주요 목표는 기존 2차 온라인 커널 학습 방법의 제한 사항, 즉 예산에 대한 최소한의 2차 시간 복잡도와 명시적 특징 매핑을 얻기 위한 계산적으로 비싼 특이값 분해로 인해 발생하는 문제를 해결하는 것입니다.
FORKS는 전체 커널 행렬을 저장하는 대신 일정한 크기로 근사화하기 위해 행렬 스케치 기술을 적용합니다. 또한 시간에 따라 변화하는 특징 매핑을 생성하기 위해 새로운 절단 증분 특이값 분해(TISVD) 방법을 사용합니다. 이를 통해 근사 커널 행렬과 근사 특징 매핑을 모두 증분적으로 유지 관리하여 효율성을 크게 높입니다. 또한 사용자 피드백 및 상호 작용 기록을 사용하여 근사 커널 공간을 증분적으로 업데이트하여 알고리즘이 사용자 선호도의 변화에 적응할 수 있도록 합니다.
FORKS의 주요 구성 요소
행렬 스케치: FORKS는 커널 행렬 근사를 위해 Sparse Johnson-Lindenstrauss Transform(SJLT) 및 열 샘플링 행렬을 사용합니다. 이러한 스케치 기술을 통해 전체 행렬을 저장하지 않고도 작은 크기의 스케치를 유지 관리할 수 있습니다.
절단 증분 특이값 분해(TISVD): FORKS는 특징 매핑을 업데이트하기 위해 새롭게 제안된 TISVD를 활용합니다. TISVD는 행렬 분해 문제를 온라인 학습 환경에 맞게 조정하여 전체 행렬 분해를 수행할 필요성을 없애고 선형 시간 및 공간 복잡도를 제공합니다.
효율적인 2차 온라인 커널 학습: FORKS는 효율적인 시간 변화 특징 매핑을 기반으로 2단계 온라인 커널 학습 절차를 채택합니다. 첫 번째 단계에서는 0이 아닌 손실이 있는 항목을 버퍼에 수집하고 커널화된 온라인 경사 하강법(KOGD)을 수행합니다. 두 번째 단계에서는 주기적인 업데이트 전략을 사용하여 스케치를 업데이트하고 TISVD를 통해 특징 매핑을 증분적으로 업데이트합니다. 또한 FORKS는 더 빠른 수렴 속도를 달성하기 위해 2차 업데이트 규칙을 사용합니다.