추천을 위한 그래프 교차 상관 네트워크

核心概念

기존의 그래프 기반 추천 모델들이 사용자-아이템 상호 작용의 의미적 풍부함을 충분히 활용하지 못하는 점을 지적하고, 사용자/아이템 하위 그래프 간의 교차 상관 관계를 명시적으로 고려하는 새로운 추천 패러다임인 GCR을 제안합니다.

摘要

본 논문에서는 사용자/아이템 하위 그래프 간의 상관관계를 명시적으로 고려하는 새로운 그래프 기반 추천 패러다임인 GCR(Graph Cross-correlated Network for Recommendation)을 제안합니다. 기존의 협업 필터링(CF) 기반 추천 모델은 사용자와 아이템을 임베딩 벡터로 표현하고, 그래프 신경망(GNN) 기반 모델은 사용자-아이템 상호 작용 그래프에서 의미 있는 정보를 추출하여 성능을 향상시켰습니다. 그러나 기존 GNN 모델은 각 그래프 convolution 후 그래프 임베딩을 단일 벡터로 결합하여 사용자/아이템 및 하위 그래프 정보를 단일 벡터에 인코딩하고, 내적을 통해 사용자-아이템 관계를 유추하는 방식을 사용합니다. 이는 사용자-아이템 하위 그래프 간의 의미 정보를 약화시키고 활용되지 않는 가능성을 남깁니다.

GCR은 사용자/아이템 하위 그래프 간의 상관관계를 명시적으로 고려하여 이러한 문제를 해결합니다. GCR은 먼저 Plain Graph Representation (PGR)을 도입하여 이웃의 각 hop에서 정보를 해당 PGR 벡터로 직접 추출합니다. 그런 다음 Cross-Correlated Aggregation (CCA)을 개발하여 사용자/아이템 하위 그래프의 PGR 벡터 간에 가능한 교차 상관 항을 구성합니다. 마지막으로 GCR은 추천을 위해 교차 상관 항을 포괄적으로 통합합니다.

GCR의 주요 구성 요소

1. Plain Graph Representation (PGR): 기존 그래프 convolution과 달리 PGR은 모든 이웃을 먼저 펼친 다음 각 hop의 이웃을 집계합니다. 이를 통해 각 hop의 이웃에 대한 순수한 임베딩을 얻을 수 있으며, 재귀적 업데이트가 필요하지 않아 계산 효율성이 높습니다.

2. Cross-Correlated Aggregation (CCA): 사용자 및 아이템 하위 그래프의 hop 벡터 간의 모든 교차 상관 관계를 명시적으로 추출하고 포괄적으로 고려합니다. HCC(Hop-level Cross-Correlation)는 내적을 사용하여 교차 상관을 모델링하고, ECC(Element-level Cross-Correlation)는 더 많은 잠재 공간 정보를 유지하기 위해 요소별 곱셈을 사용합니다.

GCR의 장점

• 사용자/아이템 하위 그래프 간의 복잡한 상관관계를 효과적으로 모델링합니다.
• 기존 GNN 기반 모델보다 자유도가 높아 유연하고 표현력이 뛰어납니다.
• 상호 작용 예측 및 클릭률 예측 작업 모두에서 기존 모델보다 우수한 성능을 제공합니다.
• 다양한 추천 작업에 적용 가능하며 기존 추천 시스템에 쉽게 통합될 수 있습니다.

실험 결과, GCR은 상호 작용 예측 및 클릭률 예측 작업 모두에서 최첨단 모델보다 우수한 성능을 보였습니다. 또한 기준 모델의 내적 또는 MLP 계층을 GCR로 대체하면 상호 작용 예측 및 클릭률 예측 작업 모두에서 추천 성능을 크게 향상시킬 수 있습니다.

統計資料

Gowalla 데이터셋: 107,092명의 사용자, 1,280,969개의 아이템, 6,442,892개의 체크인 기록
Yelp2018 데이터셋: 31,668명의 사용자, 38,048개의 아이템, 1,561,406개의 리뷰 상호 작용
Amazon-Book 데이터셋: 52,463명의 사용자, 91,599개의 아이템, 2,984,108개의 리뷰 상호 작용
WeiXin 데이터셋: 약 20,000명의 사용자, 약 100,000개의 비디오, 약 7,300,000개의 비디오 재생 로그 기록
GCR의 자유도: L=2, d=64, Hn=256, Hl=1일 때 HCC는 2304, ECC는 147456
GNN 기반 모델의 자유도: LightGCN은 6, NGCF는 0

引述

從以下內容提煉的關鍵洞見

Graph Cross-Correlated Network for Recommendation

by Hao Chen, Yu... 於 arxiv.org 11-05-2024

https://arxiv.org/pdf/2411.01182.pdf

深入探究

GCR을 활용하여 사용자의 개인정보를 보호하면서 추천 성능을 향상시킬 수 있는 방법은 무엇일까요?

GCR은 사용자-아이템 상호작용 그래프를 기반으로 추천을 수행하기 때문에 사용자 개인정보 보호에 유리한 측면이 있습니다. 하지만, 추천 성능 향상을 위해 사용자 정보를 추가적으로 활용해야 할 때가 발생할 수 있습니다. 이때, 다음과 같은 방법들을 통해 사용자 개인정보를 보호하면서도 추천 성능을 향상시킬 수 있습니다:

Federated Learning (연합 학습): 사용자 기기에서 모델 학습을 수행하고, 학습된 모델의 파라미터만 서버로 전송하여 중앙 서버에서 모델을 업데이트하는 방식입니다. 사용자의 로컬 데이터는 기기를 벗어나지 않기 때문에 개인정보를 보호할 수 있습니다. GCR의 경우, 각 사용자의 subgraph representation을 개별 기기에서 학습하고, 학습된 representation을 이용하여 중앙 서버에서 CCA 모듈을 학습하는 방식으로 연합 학습을 적용할 수 있습니다.

Differential Privacy (차분 프라이버시): 모델 학습 과정에서 노이즈를 추가하여 특정 사용자 정보가 모델에 미치는 영향을 최소화하는 방법입니다. GCR 학습 과정에서 사용자 임베딩이나 그래프 구조에 노이즈를 추가하여 개별 사용자 정보를 보호할 수 있습니다. 예를 들어, PGR 단계에서 이웃 노드를 샘플링하거나, CCA 단계에서 가중치에 노이즈를 추가하는 방식을 고려할 수 있습니다.

Homomorphic Encryption (동형 암호화): 암호화된 데이터를 복호화하지 않고도 연산을 수행할 수 있도록 하는 기술입니다. 사용자 정보를 암호화된 상태로 GCR 모델 학습에 활용하여 개인정보를 보호할 수 있습니다. 예를 들어, 사용자 임베딩을 암호화하고, 암호화된 상태에서 임베딩 간의 연산을 수행하여 GCR 모델을 학습할 수 있습니다.

Anonymization (익명화): 사용자 식별 정보를 제거하거나 변환하여 개인정보를 보호하는 방법입니다. GCR 모델 학습에 사용되는 데이터에서 사용자를 직접적으로 식별할 수 있는 정보를 제거하거나, 사용자 ID를 익명화된 값으로 변환하여 개인정보를 보호할 수 있습니다.

Local Differential Privacy (로컬 차분 프라이버시): 사용자 기기에서 데이터를 익명화한 후 서버로 전송하는 방법입니다. GCR 모델 학습에 사용되는 사용자-아이템 상호작용 데이터를 사용자 기기에서 로컬 차분 프라이버시 기술을 활용하여 익명화한 후 서버로 전송하여 개인정보를 보호할 수 있습니다.

GCR은 사용자-아이템 상호 작용 그래프 외에 다른 유형의 데이터(예: 사용자 프로필, 아이템 콘텐츠)를 통합하여 추천 성능을 더욱 향상시킬 수 있을까요?

네, GCR은 사용자-아이템 상호작용 그래프 외에 다른 유형의 데이터를 통합하여 추천 성능을 더욱 향상시킬 수 있습니다. 사용자 프로필, 아이템 콘텐츠와 같은 부가 정보는 사용자-아이템 간의 잠재적인 관계를 더 잘 이해하는 데 도움이 될 수 있습니다.
다음은 GCR에 다른 유형의 데이터를 통합하는 방법의 예시입니다.

임베딩 단계에서 데이터 통합: 사용자 프로필 정보와 아이템 콘텐츠 정보를 이용하여 사용자 및 아이템 임베딩을 생성할 수 있습니다. 예를 들어, 사용자 프로필 정보를 사용하여 사용자 임베딩을 초기화하거나, 아이템 콘텐츠 정보를 사용하여 아이템 임베딩을 초기화할 수 있습니다.

사용자 프로필: 사용자의 인구 통계 정보(나이, 성별, 위치 등), 관심사, 과거 구매 내역 등을 사용하여 사용자 임베딩을 풍부하게 만들 수 있습니다. 이러한 정보는 다양한 인코딩 기법(예: one-hot 인코딩, 임베딩 테이블)을 사용하여 GCR 모델에 통합될 수 있습니다.
아이템 콘텐츠: 아이템의 설명, 카테고리, 태그, 이미지, 리뷰 등을 사용하여 아이템 임베딩을 풍부하게 만들 수 있습니다. 텍스트 정보는 워드 임베딩이나 CNN을 사용하여 처리하고, 이미지 정보는 CNN을 사용하여 처리할 수 있습니다.

GNN 레이어에 데이터 통합: GNN 레이어에서 이웃 노드 정보를 집계할 때 사용자 프로필 정보와 아이템 콘텐츠 정보를 함께 고려할 수 있습니다. 예를 들어, GraphSage [66] 나 GAT [67] 와 같은 attention 메커니즘을 사용하여 이웃 노드의 중요도를 계산할 때, 사용자 프로필 유사도나 아이템 콘텐츠 유사도를 함께 고려할 수 있습니다.

CCA 모듈에 데이터 통합: CCA 모듈에서 사용자 및 아이템 subgraph representation을 결합할 때 사용자 프로필 정보와 아이템 콘텐츠 정보를 함께 고려할 수 있습니다. 예를 들어, 사용자 프로필 정보와 아이템 콘텐츠 정보를 concat하여 MLP에 입력하거나, 사용자 프로필 정보와 아이템 콘텐츠 정보를 사용하여 attention 가중치를 계산할 수 있습니다.

다중 모달 학습: 사용자-아이템 상호작용 그래프, 사용자 프로필, 아이템 콘텐츠를 각각 다른 모달로 간주하고, 각 모달에서 학습된 정보를 융합하여 최종 추천 결과를 생성하는 다중 모달 학습 방법을 적용할 수 있습니다.

이러한 방법들을 통해 GCR은 사용자-아이템 상호작용 그래프 정보뿐만 아니라 다양한 유형의 부가 정보를 함께 활용하여 사용자의 복잡하고 다양한 취향을 더욱 정확하게 모델링하고 추천 성능을 향상시킬 수 있습니다.

GCR에서 학습된 교차 상관 관계를 분석하여 사용자의 선호도에 대한 새로운 인사이트를 얻을 수 있을까요?

네, GCR에서 학습된 교차 상관 관계를 분석하면 사용자의 선호도에 대한 새로운 인사이트를 얻을 수 있습니다. 특히, GCR의 CCA 모듈에서 학습된 사용자-아이템 subgraph representation 간의 교차 상관 관계는 특정 사용자 그룹이 어떤 아이템 속성에 더 민감하게 반응하는지, 어떤 패턴으로 연결되는지 등 흥미로운 정보를 제공할 수 있습니다.
다음은 GCR에서 학습된 교차 상관 관계를 분석하여 사용자 선호도에 대한 인사이트를 얻는 구체적인 방법들입니다.

HCC 가중치 분석: HCC에서 각 hop-level cross-correlation term에 대한 가중치를 분석하여 어떤 hop의 이웃 노드들이 추천에 가장 큰 영향을 미치는지 파악할 수 있습니다. 예를 들어, 특정 사용자 그룹에게 2-hop 이웃 노드의 가중치가 높게 나타난다면, 해당 사용자 그룹은 친구의 친구가 추천한 아이템에 더 큰 영향을 받는다는 것을 의미할 수 있습니다.

ECC 요소별 분석: ECC에서 각 element-wise cross-correlation term을 분석하여 사용자 및 아이템 임베딩의 어떤 요소가 서로 상관관계가 높은지 파악할 수 있습니다. 이를 통해 사용자의 어떤 특징이 어떤 아이템 속성에 영향을 받는지 분석할 수 있습니다. 예를 들어, 영화 추천에서 사용자 임베딩의 "로맨스 영화 선호도" 요소와 아이템 임베딩의 "출연 배우" 요소 간의 상관관계가 높게 나타난다면, 해당 사용자 그룹은 로맨스 영화를 선택할 때 출연 배우를 중요하게 고려한다는 것을 의미할 수 있습니다.

시각화: 사용자-아이템 subgraph representation, HCC 가중치, ECC 결과를 시각화하여 사용자 그룹별 선호도 패턴을 파악할 수 있습니다. 예를 들어, t-SNE와 같은 차원 축소 기법을 사용하여 사용자 임베딩을 2차원 공간에 시각화하고, 비슷한 선호도를 가진 사용자 그룹을 클러스터링할 수 있습니다.

Case Study: 특정 사용자 그룹이나 아이템 범주에 대해 GCR 모델의 추천 결과와 학습된 교차 상관 관계를 심층적으로 분석하여 해당 그룹의 특징적인 선호도 패턴을 도출할 수 있습니다. 예를 들어, 특정 아이돌 그룹의 팬들을 대상으로 GCR 모델을 학습시키고, 학습된 교차 상관 관계를 분석하여 해당 팬들이 아이돌 음악을 선택할 때 어떤 요소(예: 멤버, 장르, 컨셉)를 중요하게 생각하는지 파악할 수 있습니다.

GCR에서 학습된 교차 상관 관계 분석은 사용자의 숨겨진 선호도를 파악하고, 이를 바탕으로 새로운 추천 전략을 개발하거나 기존 추천 시스템을 개선하는 데 활용될 수 있습니다. 또한, 사용자 맞춤형 마케팅이나 서비스 개발에도 유용하게 활용될 수 있습니다.