arXiv:2403.07265

Self-supervised Contrastive Learning for Implicit Collaborative Filtering

Shipeng Song, Bin Liu, Fei Teng, Tianrui Li

제출 2024-03-12

원문 초록

Contrastive learning-based recommendation algorithms have significantly advanced the field of self-supervised recommendation, particularly with BPR as a representative ranking prediction task that dominates implicit collaborative filtering. However, the presence of false-positive and false-negative examples in recommendation systems hampers accurate preference learning. In this study, we propose a simple self-supervised contrastive learning framework that leverages positive feature augmentation and negative label augmentation to improve the self-supervisory signal. Theoretical analysis demonstrates that our learning method is equivalent to maximizing the likelihood estimation with latent variables representing user interest centers. Additionally, we establish an efficient negative label augmentation technique that samples unlabeled examples with a probability linearly dependent on their relative ranking positions, enabling efficient augmentation in constant time complexity. Through validation on multiple datasets, we illustrate the significant improvements our method achieves over the widely used BPR optimization objective while maintaining comparable runtime.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23986v1cs.IR공통 태그 Collaborative Filtering, Recommendation Systems, Contrastive Learning

MEMOIR: 선호 드리프트 스펙트럼 전반의 추천을 위한 시간적 행동 메모리

MEMOIR: Temporal Behavioral Memory for Recommendation Across the Preference-Drift Spectrum

우리는 사용자 상호작용 이력을 시간적 윈도우로 분할하고, 대규모 언어 모델(LLM)을 사용하여 각 기간별 의미적 행동 메모리를 생성하며, 현재 상태·진화 방향·예측된 미래를 단일 사용자 표현으로 집계하는 프레임워크 MEMOIR을 제안한다. Amazon Reviews 2023의 Electronics 및 Clothing_Shoes_and_Jewelry 카테고리에서 MEMOIR은 집계 NDCG@10(0.0643 vs. 0.0641)에서 가장 강력한 기준선인 UniSRec과 통계적으로 동률이며, 보고된 네 가지 지표를 2-2로 나눈다: MEMOIR은 NDCG@10과 MRR에서 앞서고, UniSRec은 HR@10과 HR@20에서 앞선다. 어블레이션 연구에 따르면, 진화 보존 대조 손실(evolution-preserving contrastive loss), 그 방향 일관성 항(directional-consistency term), 또는 시간적 윈도우 분할 자체와 같은 단일 아키텍처 구성요소가 ID 기반 SASRec 대비 MEMOIR의 약 18% 상대적 향상을 개별적으로 설명하지 못한다; 네 가지 어블레이션 모두 집계 NDCG@10에서 전체 모델의 2% 이내에 위치한다. 대신 복합 선호 드리프트 점수로 테스트 성능을 계층화하면 향상이 집중되는 지점이 드러난다: MEMOIR은 분포의 고·저 드리프트 극단에 있는 사용자들에서 특히 순위 품질 지표(NDCG@10, MRR)에서 앞서는 반면, UniSRec은 모든 드리프트 계층에서 볼륨 지향 HR@10/HR@20 지표를 주도하고 중간 구간에서는 순위 품질에서 MEMOIR을 앞선다. 우리는 거의 동률인 집계 수치나 단일 어블레이션 구성요소가 아닌, 이 드리프트 계층화 패턴을 MEMOIR의 가장 실질적이고 재현 가능한 발견으로 보고하며, 이것이 성립하는 이유를 향후 연구를 위한 열린 질문으로 제시한다.

arXiv:2607.11168v1cs.CV공통 태그 Collaborative Filtering, Recommendation Systems, Contrastive Learning

SISA-Rec: A Semantically Integrated Sequential Recommender with Contrastive Alignment

추천 시스템은 방대한 선택지 중에서 사용자에게 관련 아이템을 추천하는 역할을 한다. 트랜스포머(transformer) 기반 순차 추천에 관한 현재 연구들은 상호작용 로그에서 사용자 선호도를 학습하지만, 대부분 아이템 식별자에 초점을 맞추고 아이템의 의미론적 정보를 충분히 활용하지 않는다. 이러한 한계는 과거 상호작용 데이터가 부족한 희소(sparse) 및 콜드 스타트(cold-start) 환경에서 주요한 도전 과제가 된다. 이 문제를 해결하기 위해, 우리는 의미론적 맥락을 순차 모델링에 직접 임베딩하는 트랜스포머 기반 프레임워크인 SISA-Rec(Semantically Integrated Sequential Recommendation)을 제안한다. 우리의 접근 방식은 게이트 융합 모듈(gated fusion module)을 통해 아이템 ID 임베딩과 BERT 기반 텍스트 임베딩을 결합하고, 셀프 어텐션(self-attention) 메커니즘에 의미론적 유사도를 주입하며, 어텐션 기반 집계 모듈을 활용하여 포괄적인 사용자 표현을 구성한다. 마지막으로, 베이지안 개인화 랭킹(Bayesian Personalized Ranking, BPR)과 대조적 정렬 손실을 결합한 결합 학습 목표가 행동 공간과 의미 공간을 정렬한다. 실험은 99.93%의 희소성을 가진 Amazon Beauty와 Amazon Toys & Games 두 고희소성 데이터셋에서 수행되었다. 결과는 SISA-Rec이 모든 평가 지표에서 최신 기준선 모델을 능가함을 보여준다. BERT4Rec \cite{petrov2022systematic}과 비교하여, SISA-Rec은 Amazon Beauty에서 HR@10을 16.6%, NDCG@10을 10.3% 향상시키고, Amazon Toys & Games에서 HR@10을 23.1%, NDCG@10을 17.9% 향상시킨다. 콜드 스타트 분석은 제안된 모델이 상호작용 이력이 제한된 사용자에게서 가장 큰 성능 향상을 달성함을 추가로 보여준다. 이는 사용자 행동 데이터가 부족할 때 의미론적 정보의 가치를 잘 보여준다. 전반적으로, 결과는 의미론적 정보를 어텐션 메커니즘에 통합하는 것이 더 정확하고 신뢰할 수 있는 추천으로 이어진다는 것을 입증한다.

arXiv:2609.08663v2cs.LG공통 태그 Recommendation Systems, Contrastive Learning

MoEMB: 효율적인 전문가 혼합 모델을 통한 범용 멀티모달 임베딩 확장

MoEMB: Scaling Universal Multimodal Embeddings with Efficient Mixture-of-Experts Models

범용 멀티모달 임베딩(Universal Multimodal Embedding, UME)은 복잡성이 높아진 광범위한 태스크와 모달리티를 처리하기 위해 인코더의 용량을 점점 더 많이 요구하고 있습니다. 기존의 스케일링 방법들은 표현(representation) 크기나 검색 비용을 늘리거나, 인코더를 무거운 멀티모달 LLM으로 확장했습니다. Think-Then-Embed(TTE)와 같은 최근 연구들은 추론(reasoning) 토큰을 통한 확장을 탐색하고 있습니다. 그러나 임베딩 모델은 확장이 어렵습니다. 매개변수를 늘리면 대조 학습(contrastive learning)에 필요한 대규모 학습 배치의 크기와 직접적인 트레이드오프가 발생하며, 검색은 엄격한 지연 시간(latency) 내에 제공되어야 하기 때문입니다. 또한, UME 태스크는 복잡성이 다양한데, 임베더를 무작정 확장하면 상당한 중복 연산이 발생할 수 있습니다. 본 연구에서는 전문가 혼합(MoE)을 통해 전문가 축을 따라 UME를 확장하여, 단일 벡터 및 비-자기회귀(non-autoregressive) 인코딩을 유지하면서 인코더 용량을 늘리는 MOEMB를 제안합니다. MoE 기반 UME의 설계 공간과 학습 레시피에 대한 체계적인 연구를 통해, MoEMB는 공개된 MMEB 패밀리 데이터로 학습된 모델 중 MMEB-V2 및 MRMR 모두에서 새로운 SOTA(state of the art)를 달성했습니다. MoEMB는 활성 매개변수가 3B에 불과함에도 활성 매개변수가 4배 이상 많은 TTE 기반 방법들을 훨씬 적은 연산량으로 능가합니다. 확장성과 효율성을 더욱 개선하기 위해, 저자들은 학습 기반 및 추론 전용 방식에 걸친 다양한 전략을 아우르며 MoE 기반 임베딩을 위한 적응형 연산(adaptive computation)에 대한 최초의 종합적인 연구를 수행했습니다. 종합적으로 이러한 결과들은 전문가 확장이 UME를 위한 효과적이고 효율적인 방향임을 뒷받침하며, 적응형 연산은 대규모 검색 및 추천 시스템을 향한 MLLM 기반 임베딩 모델의 효율성을 더욱 향상시킵니다.

arXiv:2610.01533v1cs.AI공통 태그 Collaborative Filtering, Recommendation Systems

흑백의 이분법을 넘어: 그래프 기반 시맨틱 ID(GrIS)를 통한 시맨틱 및 협업 신호의 균형

Neither Black nor White: Balancing Semantic and Collaborative Signals with Graph-Informed Semantic IDs (GrIS)

생성형 추천을 위한 시맨틱 ID(Semantic ID, SID)에 관한 기존 연구들은 SID 구축을 표현 학습(representation learning) 문제로 취급하여, 아이템을 양자화된 잠재 공간으로 인코딩하고 코드를 읽어내는 방식을 취합니다. 본 논문에서는 이러한 관점이 본질적이지 않다고 주장합니다. SID 구축은 본질적으로 재귀적 클러스터링(recursive clustering) 문제이며, 이렇게 정의하면 클러스터링할 자연스러운 대상은 노드가 시맨틱 콘텐츠를 담고 에지가 협업 신호(collaborative signal)를 전달하는 그래프가 됩니다. 즉, SID 할당은 계층적 그래프 분할(hierarchical graph partition)이 됩니다. 이러한 재구성을 통해 기존 접근 방식을 대체하기보다는 포괄하는 통합 프레임워크인 그래프 기반 시맨틱 ID(Graph-Informed Semantic IDs, GrIS)를 도출합니다. RQ-VAE 및 RQ-KMeans는 그래프가 비어 있는 특수한 경우로 환원되며, 이는 콘텐츠 전용 양자화가 지금까지 하나로 뭉쳐져 있던 두 축인 그래프 구축과 재귀적 분할 알고리즘으로 이루어진 더 큰 설계 공간의 한 단면에 불과함을 보여줍니다. 본 연구에서는 두 가지 대조적인 구현체를 탐색합니다. 하나는 미분 가능한 그래프 풀링(pooling)을 통해 계층적 할당을 수행하는 RecDMoN이고, 다른 하나는 그래프 인식 아이템 표현과 그래프 재구성 목적 함수를 통해 RQ-VAE를 확장하는 RQ-GAE입니다. 여러 실제 데이터셋에서 GrIS는 협업 필터링(CF) 인식 최신 기술(SOTA) 대비 일관되게 향상된 성능을 보여주며, Hit@10에서 최대 +52%의 성능 향상을 달성합니다. 그래프 구축과 분할이 명시적이고 개별적으로 구성 가능한 컴포넌트이기 때문에, 두 축 중 어느 한쪽의 개선점이라도 결합하여 체계적으로 평가할 수 있습니다.

arXiv:2609.27201v1cs.LG공통 태그 Collaborative Filtering, Recommendation Systems

순차 추천 시스템에서 시간적 귀속을 위한 설명 가능 방법의 체계적 벤치마크

A Systematic Benchmark of Explainable Methods for Temporal Attribution in Sequential Recommendation Systems

순차 추천 시스템(Sequential RecSys)은 현대 개인화의 중심에 있으며, 사용자의 과거 상호작용 시퀀스를 활용해 다음 단계 의사결정을 이끈다. 심층 학습 모델, 특히 CNN 및 트랜스포머 기반 아키텍처는 이러한 이력에서 시간적 의존성을 포착하는 데 매우 효과적임이 입증되었다. 투명성과 신뢰를 위해, 어떤 과거 상호작용이 특정 추천을 이끄는지 이해하는 것은 모델 행동을 감사하는 개발자와 근거를 원하는 사용자 모두에게 점점 더 중요해지고 있다. 그러나 이러한 모델에 예측력을 부여하는 비선형성은 동시에 블랙박스로 만들어, 의사결정을 특정 상호작용에 귀속하기 어렵게 한다. 그래디언트 기반, 교란(perturbation) 기반, 어텐션 기반 설명 가능성 방법은 존재하지만, 순차 추천에서 그 충실성(faithfulness)에 대한 체계적 벤치마크는 부재하다. 우리는 한 모델이 타임스텝별 귀속 점수를 제공하고, 별도로 학습된 마스킹-강건(masking-robust) 탐침(probe)이 예측 확률의 변화를 측정하는 이중 모델 마스킹 지표를 도입하여 이 공백을 메운다. 이 지표를 사용해 KuaiRand와 MovieLens에서 CNN, 트랜스포머, SASRec, BERT4Rec 백본에 걸쳐 열 가지 XAI 방법을 벤치마크하고, 시간적 귀속 패턴, 아이템 인기도 교란(confounding), 입력 손상에 대한 강건성 분석을 보완한다. 핵심 발견은 다음과 같다: (1) 그래디언트 기반 방법, 특히 GradientSHAP와 Integrated Gradients가 가장 충실하고 강건한 귀속을 제공한다; (2) 원시 어텐션 가중치는 신뢰할 수 없지만, 그래디언트 가중 어텐션은 더 짧은 시퀀스에서 충실성을 회복하며, 더 긴 구간에서는 소프트맥스 어텐션 확률이 균일한 중요도 점수로 수렴하면서 정보가 있는 상호작용을 식별하는 방법의 능력이 줄어들어 성능이 저하된다; (3) 충실한 방법에서의 시간적 귀속 패턴은 최근성(recency)이나 인기도 바이어스가 아니라 실제 과업 구조를 반영한다.

arXiv:2609.27953v1cs.IR공통 태그 Collaborative Filtering, Recommendation Systems

LLM 추천 리랭킹의 재현율 한계

The Recall Ceiling of LLM Recommendation Reranking

일부 LLM 기반 추천 리랭커는 정답 아이템이 평가 대상 집합에 반드시 존재하도록 보장하는 오라클 프로토콜로 평가된다. 이는 정답 아이템을 후보 목록에 주입하거나 샘플링된 네거티브와 비교하여 점수를 매기는 방식으로 이루어진다. 세 개의 주요 Amazon 데이터셋에서 이 프로토콜이 현실적인 NDCG@10을 92~95% 과대평가함을 보인다. 그 원인은 재현율 한계(recall ceiling)에 있다. 세 개 도메인의 여덟 개 데이터셋에 걸쳐, 현실적인 검색(retrieval)은 $K=100$에서 관련 아이템의 2~19%만을 포착하며, 이는 모든 폐쇄 후보(closed-candidate) 리랭커의 top-$k$ NDCG에 결정론적 상한을 부과한다. 리브-원-아웃(leave-one-out) 평가에서는 $\mathbb{E}[\mathrm{NDCG}@k] \leq \mathrm{Recall}@|W_\pi|$가 성립하며, 여기서 $W_\pi$는 리랭커의 후보 윈도우이다. 현실적인 검색 조건에서는 우리의 주요 Amazon 데이터셋에서 테스트한 어떤 최적화 전략도 협업 필터링(CF) 기준선을 유의미하게 개선하지 못한다. 이러한 전략에는 프롬프트 엔지니어링, 168배 매개변수 범위에 걸친 모델 스케일링, 순차 모델, 지도 학습 기반 신경망 리랭커, LoRA 미세조정, 하이브리드 검색, 점수 인지(score-aware) 프롬프팅, LLM+CF 융합이 포함된다. 텍스트 인지(text-aware) 검색은 한 데이터셋에서 재현율을 높이지만 종단 간(end-to-end) NDCG를 개선하지는 못하며, 상위 단계의 CF 점수를 제공하면 주로 LLM이 CF의 순서를 그대로 재현하게 된다. 따라서 우리는 재현율 인지 평가 프로토콜(Recall-Aware Evaluation Protocol, RAEP)을 제안한다. 먼저 검색 재현율 구간(regime)을 분류한 뒤, 상한이 의미 있는 차별화를 허용하는 경우에 한해 리랭킹을 평가하는 것이다. 여기서 측정된 낮은 재현율 구간에서는 리랭커의 정교함을 높이는 것보다 검색을 개선하는 것이 더 중요하다. 다만 이러한 순서가 더 높은 재현율, 더 풍부한 특징, 또는 온라인 피드백을 갖춘 프로덕션 시스템에서도 반드시 성립하는 것은 아니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.