대규모 언어 모델(LLM)의 방대한 세계 지식과 추론 능력을 활용하여 전통적인 추천 시스템의 사용자 행동 패턴을 효과적으로 통합하는 방법을 제안한다.
TTT4Rec은 테스트 시간 학습을 통해 실시간으로 모델 매개변수를 업데이트하여 동적 사용자 행동을 효과적으로 포착할 수 있다.
대규모 언어 모델(LLM) 기반 추천 시스템의 효율성을 높이기 위해 지식 증류 기법을 사용하여 작지만 성능이 뛰어난 순차적 추천 모델을 구축할 수 있다.
본 논문에서는 셀프 어텐션 기반 순차적 추천 모델에서 학습된 위치 임베딩이 토큰 간의 거리를 포 착한다는 점을 기반으로, 위치 관계를 직접 학습하는 새로운 어텐션 모델인 PARec과 FPARec을 제안 합니다. 실험 결과, 제안된 모델은 기존 셀프 어텐션 기반 모델보다 우뛰어한 성 능을 보이며, 특히 FPARec은 위치 어텐션 행렬의 효율적인 인수분해를 통해 더 적은 파라미터 수로 도 뛰어난 성능을 달성합니다.