arXiv:2101.01317

Contrastive Learning for Recommender System

Zhuang Liu, Yunpu Ma, Yuanxin Ouyang, Zhang Xiong

제출 2021-01-05

원문 초록

Recommender systems, which analyze users' preference patterns to suggest potential targets, are indispensable in today's society. Collaborative Filtering (CF) is the most popular recommendation model. Specifically, Graph Neural Network (GNN) has become a new state-of-the-art for CF. In the GNN-based recommender system, message dropout is usually used to alleviate the selection bias in the user-item bipartite graph. However, message dropout might deteriorate the recommender system's performance due to the randomness of dropping out the outgoing messages based on the user-item bipartite graph. To solve this problem, we propose a graph contrastive learning module for a general recommender system that learns the embeddings in a self-supervised manner and reduces the randomness of message dropout. Besides, many recommender systems optimize models with pairwise ranking objectives, such as the Bayesian Pairwise Ranking (BPR) based on a negative sampling strategy. However, BPR has the following problems: suboptimal sampling and sample bias. We introduce a new debiased contrastive loss to solve these problems, which provides sufficient negative samples and applies a bias correction probability to alleviate the sample bias. We integrate the proposed framework, including graph contrastive module and debiased contrastive module with several Matrix Factorization(MF) and GNN-based recommendation models. Experimental results on three public benchmarks demonstrate the effectiveness of our framework.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01533v1cs.AI공통 태그 Collaborative Filtering, Recommendation Systems, Graph Neural Network

흑백의 이분법을 넘어: 그래프 기반 시맨틱 ID(GrIS)를 통한 시맨틱 및 협업 신호의 균형

Neither Black nor White: Balancing Semantic and Collaborative Signals with Graph-Informed Semantic IDs (GrIS)

생성형 추천을 위한 시맨틱 ID(Semantic ID, SID)에 관한 기존 연구들은 SID 구축을 표현 학습(representation learning) 문제로 취급하여, 아이템을 양자화된 잠재 공간으로 인코딩하고 코드를 읽어내는 방식을 취합니다. 본 논문에서는 이러한 관점이 본질적이지 않다고 주장합니다. SID 구축은 본질적으로 재귀적 클러스터링(recursive clustering) 문제이며, 이렇게 정의하면 클러스터링할 자연스러운 대상은 노드가 시맨틱 콘텐츠를 담고 에지가 협업 신호(collaborative signal)를 전달하는 그래프가 됩니다. 즉, SID 할당은 계층적 그래프 분할(hierarchical graph partition)이 됩니다. 이러한 재구성을 통해 기존 접근 방식을 대체하기보다는 포괄하는 통합 프레임워크인 그래프 기반 시맨틱 ID(Graph-Informed Semantic IDs, GrIS)를 도출합니다. RQ-VAE 및 RQ-KMeans는 그래프가 비어 있는 특수한 경우로 환원되며, 이는 콘텐츠 전용 양자화가 지금까지 하나로 뭉쳐져 있던 두 축인 그래프 구축과 재귀적 분할 알고리즘으로 이루어진 더 큰 설계 공간의 한 단면에 불과함을 보여줍니다. 본 연구에서는 두 가지 대조적인 구현체를 탐색합니다. 하나는 미분 가능한 그래프 풀링(pooling)을 통해 계층적 할당을 수행하는 RecDMoN이고, 다른 하나는 그래프 인식 아이템 표현과 그래프 재구성 목적 함수를 통해 RQ-VAE를 확장하는 RQ-GAE입니다. 여러 실제 데이터셋에서 GrIS는 협업 필터링(CF) 인식 최신 기술(SOTA) 대비 일관되게 향상된 성능을 보여주며, Hit@10에서 최대 +52%의 성능 향상을 달성합니다. 그래프 구축과 분할이 명시적이고 개별적으로 구성 가능한 컴포넌트이기 때문에, 두 축 중 어느 한쪽의 개선점이라도 결합하여 체계적으로 평가할 수 있습니다.

arXiv:2607.23986v1cs.IR공통 태그 Collaborative Filtering, Recommendation Systems, Contrastive Learning

MEMOIR: 선호 드리프트 스펙트럼 전반의 추천을 위한 시간적 행동 메모리

MEMOIR: Temporal Behavioral Memory for Recommendation Across the Preference-Drift Spectrum

우리는 사용자 상호작용 이력을 시간적 윈도우로 분할하고, 대규모 언어 모델(LLM)을 사용하여 각 기간별 의미적 행동 메모리를 생성하며, 현재 상태·진화 방향·예측된 미래를 단일 사용자 표현으로 집계하는 프레임워크 MEMOIR을 제안한다. Amazon Reviews 2023의 Electronics 및 Clothing_Shoes_and_Jewelry 카테고리에서 MEMOIR은 집계 NDCG@10(0.0643 vs. 0.0641)에서 가장 강력한 기준선인 UniSRec과 통계적으로 동률이며, 보고된 네 가지 지표를 2-2로 나눈다: MEMOIR은 NDCG@10과 MRR에서 앞서고, UniSRec은 HR@10과 HR@20에서 앞선다. 어블레이션 연구에 따르면, 진화 보존 대조 손실(evolution-preserving contrastive loss), 그 방향 일관성 항(directional-consistency term), 또는 시간적 윈도우 분할 자체와 같은 단일 아키텍처 구성요소가 ID 기반 SASRec 대비 MEMOIR의 약 18% 상대적 향상을 개별적으로 설명하지 못한다; 네 가지 어블레이션 모두 집계 NDCG@10에서 전체 모델의 2% 이내에 위치한다. 대신 복합 선호 드리프트 점수로 테스트 성능을 계층화하면 향상이 집중되는 지점이 드러난다: MEMOIR은 분포의 고·저 드리프트 극단에 있는 사용자들에서 특히 순위 품질 지표(NDCG@10, MRR)에서 앞서는 반면, UniSRec은 모든 드리프트 계층에서 볼륨 지향 HR@10/HR@20 지표를 주도하고 중간 구간에서는 순위 품질에서 MEMOIR을 앞선다. 우리는 거의 동률인 집계 수치나 단일 어블레이션 구성요소가 아닌, 이 드리프트 계층화 패턴을 MEMOIR의 가장 실질적이고 재현 가능한 발견으로 보고하며, 이것이 성립하는 이유를 향후 연구를 위한 열린 질문으로 제시한다.

arXiv:2607.24213v1cs.AI공통 태그 Collaborative Filtering, Recommendation Systems, Graph Neural Network

제약 인식 그래프 어텐션을 통한 사실적·규범적 산업 지식 통합 기반 공정 계획 추천

Integrating Factual and Normative Industrial Knowledge via Constraint-Aware Graph Attention for Process Plan Recommendation

사실적 관계와 의사결정 제약을 포함한 이종 산업 지식의 통합은 여전히 산업 정보 시스템의 핵심 과제이다. 가공 공정 계획은 재료 특성, 특징 특성, 품질 요구사항을 종합하여 공정을 선택해야 하므로 이 문제를 잘 보여준다. 기존 방법은 주로 유사도 검색이나 분류에 의존하며, 통합된 순위 목표나 표준화된 평가는 없다. 우리는 가공 공정 계획 추천을 지식 그래프 강화 협업 필터링 문제로 공식화하는 PCA-GAT를 제안한다. Bayesian Personalized Ranking이 학습 목표를 제공하고, Recall@K와 NDCG@K가 평가를 정의한다. 지식 그래프는 협업 신호가 희소할 때 의미론적 구조를 제공한다. 네 가지 도메인 제약—재료 호환성, 정밀도 요구사항, 특징 적용 가능성, 공정 순서—을 그래프 전파 과정에서 어텐션 편향으로 도입한다. 유형별 가중치가 각 제약의 중요도를 학습하고, 적응형 게이트가 지역적 맥락을 사용해 그 영향을 조절한다. 115개 부품과 507개 계획을 포함한 실제 항공우주 데이터셋에서 PCA-GAT는 Recall@1 = 0.9087을 달성하고 강한 콜드스타트 견고성을 보이며, 심각한 희소성 하에서 가장 강한 기준선 대비 약 절반 수준의 성능 저하만을 보인다. 소거 연구는 지식 그래프 보강이 필수적이고, 제약이 가치를 더하며, 게이트 없는 제약 주입은 성능을 해칠 수 있음을 보여준다. 학습된 가중치는 재료-공정 호환성이 지배적 요인임을 식별하며, 이는 도메인 전문 지식과 일치한다. 세 개의 공개 벤치마크에서의 결과는 제약이 없을 때 성능 저하가 없음을 보여주며, 제조 분야를 넘어선 일반화를 뒷받침한다. 본 연구는 공학 공정 계획을 위한 표준화된 추천 프로토콜을 수립하고 세 범주에 걸친 일곱 가지 방법을 벤치마킹하여, 지식 표현이 주요 병목임을 보여준다.

arXiv:2607.20737v1cs.LG공통 태그 Collaborative Filtering, Recommendation Systems, Graph Neural Network

카디널리티 분해 손실: 이질적 추천 그래프에서 관계 구조에 학습 목표를 맞추기

Cardinality-Decomposed Loss: Matching Training Objectives to Relation Structure in Heterogeneous Recommendation Graphs

이질적 이분 그래프에서 학습된 그래프 신경망(GNN)은 추천 시스템의 일반적인 기반을 형성한다. 이러한 그래프는 종종 카디널리티(cardinality)가 다른 관계를 표현하며, 예를 들어 사용자-아이템 선호는 일대다(one-to-many)이고 사용자-속성 특징은 일대일(one-to-one)이다. 전통적으로 네트워크의 모든 구성 요소에 동일한 손실 함수가 적용되며, 이는 종종 Bayesian Personalized Ranking(BPR)이다. BPR은 추천 작업에서 잘 작동하지만, 속성 임베딩이 거의 무작위 기하학에 붕괴하는 원인이 됨을 발견했다 — 이는 표준 순위 지표에 거의 영향을 주지 않아 기존 평가에서는 드러나지 않는 조용한 실패(silent failure)이다. 이는 사용자 노드 임베딩을 오염시키며, 사용자 노드 임베딩은 두 엣지 유형에 의해 동시에 형성되므로 개인화, 세분화 등 하류 작업에 해를 끼친다. 여기서 우리는 Cross Entropy(CE)와 BPR을 결합하여 모델이 서로 다른 카디널리티의 관계를 집합적으로 최적화할 수 있게 하는 Cardinality-Decomposed Loss(CDL)를 제안한다. 공유 인코더의 매개변수 공간에서 두 손실이 경쟁함을 보여 CE-BPR 충돌을 확인한다. CDL을 두 가지 구조적 구성 — 사용자 노드의 일대일 속성(MovieLens-1M, Last.fm-360K, PayPal Audience Factory, BookCrossing)과 아이템 노드의 일대일 속성(Yelp) — 을 아우르는 다섯 데이터셋에서 평가하고, CDL이 속성 임베딩의 판별력을 일관되게 향상시킴을 확인한다. 또한 속성이 의미 있는 선호 신호를 담고 있을 때 순위(NDCG)가 개선되지만, 상관관계가 약할 때는 이와 충돌함을 보인다. 람다 매개변수로 이 트레이드오프를 조절하며, 람다 스윕(lambda-sweep)을 통해 데이터셋 동작이 두 가지 그래프 속성 — 의미적 정렬(semantic alignment)과 토폴로지 누출(topology leakage) — 에 의해 지배됨을 밝힌다. 의미적 정렬은 속성이 선호를 예측하는지를, 토폴로지 누출은 그래프의 연결성이 이미 이를 인코딩하는지를 측정한다.

arXiv:2609.08663v2cs.LG공통 태그 Recommendation Systems, Contrastive Learning

MoEMB: 효율적인 전문가 혼합 모델을 통한 범용 멀티모달 임베딩 확장

MoEMB: Scaling Universal Multimodal Embeddings with Efficient Mixture-of-Experts Models

범용 멀티모달 임베딩(Universal Multimodal Embedding, UME)은 복잡성이 높아진 광범위한 태스크와 모달리티를 처리하기 위해 인코더의 용량을 점점 더 많이 요구하고 있습니다. 기존의 스케일링 방법들은 표현(representation) 크기나 검색 비용을 늘리거나, 인코더를 무거운 멀티모달 LLM으로 확장했습니다. Think-Then-Embed(TTE)와 같은 최근 연구들은 추론(reasoning) 토큰을 통한 확장을 탐색하고 있습니다. 그러나 임베딩 모델은 확장이 어렵습니다. 매개변수를 늘리면 대조 학습(contrastive learning)에 필요한 대규모 학습 배치의 크기와 직접적인 트레이드오프가 발생하며, 검색은 엄격한 지연 시간(latency) 내에 제공되어야 하기 때문입니다. 또한, UME 태스크는 복잡성이 다양한데, 임베더를 무작정 확장하면 상당한 중복 연산이 발생할 수 있습니다. 본 연구에서는 전문가 혼합(MoE)을 통해 전문가 축을 따라 UME를 확장하여, 단일 벡터 및 비-자기회귀(non-autoregressive) 인코딩을 유지하면서 인코더 용량을 늘리는 MOEMB를 제안합니다. MoE 기반 UME의 설계 공간과 학습 레시피에 대한 체계적인 연구를 통해, MoEMB는 공개된 MMEB 패밀리 데이터로 학습된 모델 중 MMEB-V2 및 MRMR 모두에서 새로운 SOTA(state of the art)를 달성했습니다. MoEMB는 활성 매개변수가 3B에 불과함에도 활성 매개변수가 4배 이상 많은 TTE 기반 방법들을 훨씬 적은 연산량으로 능가합니다. 확장성과 효율성을 더욱 개선하기 위해, 저자들은 학습 기반 및 추론 전용 방식에 걸친 다양한 전략을 아우르며 MoE 기반 임베딩을 위한 적응형 연산(adaptive computation)에 대한 최초의 종합적인 연구를 수행했습니다. 종합적으로 이러한 결과들은 전문가 확장이 UME를 위한 효과적이고 효율적인 방향임을 뒷받침하며, 적응형 연산은 대규모 검색 및 추천 시스템을 향한 MLLM 기반 임베딩 모델의 효율성을 더욱 향상시킵니다.

arXiv:2609.27201v1cs.LG공통 태그 Collaborative Filtering, Recommendation Systems

순차 추천 시스템에서 시간적 귀속을 위한 설명 가능 방법의 체계적 벤치마크

A Systematic Benchmark of Explainable Methods for Temporal Attribution in Sequential Recommendation Systems

순차 추천 시스템(Sequential RecSys)은 현대 개인화의 중심에 있으며, 사용자의 과거 상호작용 시퀀스를 활용해 다음 단계 의사결정을 이끈다. 심층 학습 모델, 특히 CNN 및 트랜스포머 기반 아키텍처는 이러한 이력에서 시간적 의존성을 포착하는 데 매우 효과적임이 입증되었다. 투명성과 신뢰를 위해, 어떤 과거 상호작용이 특정 추천을 이끄는지 이해하는 것은 모델 행동을 감사하는 개발자와 근거를 원하는 사용자 모두에게 점점 더 중요해지고 있다. 그러나 이러한 모델에 예측력을 부여하는 비선형성은 동시에 블랙박스로 만들어, 의사결정을 특정 상호작용에 귀속하기 어렵게 한다. 그래디언트 기반, 교란(perturbation) 기반, 어텐션 기반 설명 가능성 방법은 존재하지만, 순차 추천에서 그 충실성(faithfulness)에 대한 체계적 벤치마크는 부재하다. 우리는 한 모델이 타임스텝별 귀속 점수를 제공하고, 별도로 학습된 마스킹-강건(masking-robust) 탐침(probe)이 예측 확률의 변화를 측정하는 이중 모델 마스킹 지표를 도입하여 이 공백을 메운다. 이 지표를 사용해 KuaiRand와 MovieLens에서 CNN, 트랜스포머, SASRec, BERT4Rec 백본에 걸쳐 열 가지 XAI 방법을 벤치마크하고, 시간적 귀속 패턴, 아이템 인기도 교란(confounding), 입력 손상에 대한 강건성 분석을 보완한다. 핵심 발견은 다음과 같다: (1) 그래디언트 기반 방법, 특히 GradientSHAP와 Integrated Gradients가 가장 충실하고 강건한 귀속을 제공한다; (2) 원시 어텐션 가중치는 신뢰할 수 없지만, 그래디언트 가중 어텐션은 더 짧은 시퀀스에서 충실성을 회복하며, 더 긴 구간에서는 소프트맥스 어텐션 확률이 균일한 중요도 점수로 수렴하면서 정보가 있는 상호작용을 식별하는 방법의 능력이 줄어들어 성능이 저하된다; (3) 충실한 방법에서의 시간적 귀속 패턴은 최근성(recency)이나 인기도 바이어스가 아니라 실제 과업 구조를 반영한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.