Enhancing Sequential Recommendation with Graph Contrastive Learning
원문 초록
The sequential recommendation systems capture users' dynamic behavior patterns to predict their next interaction behaviors. Most existing sequential recommendation methods only exploit the local context information of an individual interaction sequence and learn model parameters solely based on the item prediction loss. Thus, they usually fail to learn appropriate sequence representations. This paper proposes a novel recommendation framework, namely Graph Contrastive Learning for Sequential Recommendation (GCL4SR). Specifically, GCL4SR employs a Weighted Item Transition Graph (WITG), built based on interaction sequences of all users, to provide global context information for each interaction and weaken the noise information in the sequence data. Moreover, GCL4SR uses subgraphs of WITG to augment the representation of each interaction sequence. Two auxiliary learning objectives have also been proposed to maximize the consistency between augmented representations induced by the same interaction sequence on WITG, and minimize the difference between the representations augmented by the global context on WITG and the local representation of the original sequence. Extensive experiments on real-world datasets demonstrate that GCL4SR consistently outperforms state-of-the-art sequential recommendation methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SISA-Rec: A Semantically Integrated Sequential Recommender with Contrastive Alignment
추천 시스템은 방대한 선택지 중에서 사용자에게 관련 아이템을 추천하는 역할을 한다. 트랜스포머(transformer) 기반 순차 추천에 관한 현재 연구들은 상호작용 로그에서 사용자 선호도를 학습하지만, 대부분 아이템 식별자에 초점을 맞추고 아이템의 의미론적 정보를 충분히 활용하지 않는다. 이러한 한계는 과거 상호작용 데이터가 부족한 희소(sparse) 및 콜드 스타트(cold-start) 환경에서 주요한 도전 과제가 된다. 이 문제를 해결하기 위해, 우리는 의미론적 맥락을 순차 모델링에 직접 임베딩하는 트랜스포머 기반 프레임워크인 SISA-Rec(Semantically Integrated Sequential Recommendation)을 제안한다. 우리의 접근 방식은 게이트 융합 모듈(gated fusion module)을 통해 아이템 ID 임베딩과 BERT 기반 텍스트 임베딩을 결합하고, 셀프 어텐션(self-attention) 메커니즘에 의미론적 유사도를 주입하며, 어텐션 기반 집계 모듈을 활용하여 포괄적인 사용자 표현을 구성한다. 마지막으로, 베이지안 개인화 랭킹(Bayesian Personalized Ranking, BPR)과 대조적 정렬 손실을 결합한 결합 학습 목표가 행동 공간과 의미 공간을 정렬한다. 실험은 99.93%의 희소성을 가진 Amazon Beauty와 Amazon Toys & Games 두 고희소성 데이터셋에서 수행되었다. 결과는 SISA-Rec이 모든 평가 지표에서 최신 기준선 모델을 능가함을 보여준다. BERT4Rec \cite{petrov2022systematic}과 비교하여, SISA-Rec은 Amazon Beauty에서 HR@10을 16.6%, NDCG@10을 10.3% 향상시키고, Amazon Toys & Games에서 HR@10을 23.1%, NDCG@10을 17.9% 향상시킨다. 콜드 스타트 분석은 제안된 모델이 상호작용 이력이 제한된 사용자에게서 가장 큰 성능 향상을 달성함을 추가로 보여준다. 이는 사용자 행동 데이터가 부족할 때 의미론적 정보의 가치를 잘 보여준다. 전반적으로, 결과는 의미론적 정보를 어텐션 메커니즘에 통합하는 것이 더 정확하고 신뢰할 수 있는 추천으로 이어진다는 것을 입증한다.
MoEMB: 효율적인 전문가 혼합 모델을 통한 범용 멀티모달 임베딩 확장
MoEMB: Scaling Universal Multimodal Embeddings with Efficient Mixture-of-Experts Models
범용 멀티모달 임베딩(Universal Multimodal Embedding, UME)은 복잡성이 높아진 광범위한 태스크와 모달리티를 처리하기 위해 인코더의 용량을 점점 더 많이 요구하고 있습니다. 기존의 스케일링 방법들은 표현(representation) 크기나 검색 비용을 늘리거나, 인코더를 무거운 멀티모달 LLM으로 확장했습니다. Think-Then-Embed(TTE)와 같은 최근 연구들은 추론(reasoning) 토큰을 통한 확장을 탐색하고 있습니다. 그러나 임베딩 모델은 확장이 어렵습니다. 매개변수를 늘리면 대조 학습(contrastive learning)에 필요한 대규모 학습 배치의 크기와 직접적인 트레이드오프가 발생하며, 검색은 엄격한 지연 시간(latency) 내에 제공되어야 하기 때문입니다. 또한, UME 태스크는 복잡성이 다양한데, 임베더를 무작정 확장하면 상당한 중복 연산이 발생할 수 있습니다. 본 연구에서는 전문가 혼합(MoE)을 통해 전문가 축을 따라 UME를 확장하여, 단일 벡터 및 비-자기회귀(non-autoregressive) 인코딩을 유지하면서 인코더 용량을 늘리는 MOEMB를 제안합니다. MoE 기반 UME의 설계 공간과 학습 레시피에 대한 체계적인 연구를 통해, MoEMB는 공개된 MMEB 패밀리 데이터로 학습된 모델 중 MMEB-V2 및 MRMR 모두에서 새로운 SOTA(state of the art)를 달성했습니다. MoEMB는 활성 매개변수가 3B에 불과함에도 활성 매개변수가 4배 이상 많은 TTE 기반 방법들을 훨씬 적은 연산량으로 능가합니다. 확장성과 효율성을 더욱 개선하기 위해, 저자들은 학습 기반 및 추론 전용 방식에 걸친 다양한 전략을 아우르며 MoE 기반 임베딩을 위한 적응형 연산(adaptive computation)에 대한 최초의 종합적인 연구를 수행했습니다. 종합적으로 이러한 결과들은 전문가 확장이 UME를 위한 효과적이고 효율적인 방향임을 뒷받침하며, 적응형 연산은 대규모 검색 및 추천 시스템을 향한 MLLM 기반 임베딩 모델의 효율성을 더욱 향상시킵니다.
단순한 근거 제시를 넘어 증거에 기반한 추론: LLM 기반 추천을 위한 검증 가능한 선호도 증명
Reasoning with Evidence, Not Merely Rationales: Verifiable Preference Proofs for LLM-Based Recommendation
대규모 언어 모델(LLM)은 상호작용 이력과 리뷰로부터 사용자의 선호도를 추론할 수 있지만, 모델이 생성하는 설명(rationale)은 추천에 실제로 사용된 정보를 반영하지 못할 수 있습니다. 선호도 주장이 선택된 증거에 의해 미약하게 뒷받침되거나 최종 순위에 거의 영향을 미치지 못할 수 있으며, 본 논문에서는 이러한 두 가지 실패를 그라운딩-영향력 격차(grounding-influence gap)라고 정의합니다. 본 연구에서는 LLM 기반 추천에서 검증 가능한 선호도 추론을 위한 일반적 프레임워크인 PROVE-REC을 소개합니다. 패스 A는 타깃 이전의 전체 이력을 선택된 증거 항목들과 연결된 긍정 및 회피 주장으로 구성된 간결한 선호도 증명으로 변환합니다. 패스 B는 이 증명과 선택된 증거만을 사용하여 다음 아이템을 예측함으로써 추천 시스템이 추론 경로를 우회하지 못하도록 방지합니다. 증거-증명 간 그라운딩을 검증하기 위해, 선택된 증거를 마스킹했을 때의 효과를 비교 가능한 대조군 항목을 마스킹했을 때와 비교합니다. 증명-추천 간 영향력을 검증하기 위해, 선호도 주장을 제거하고 그에 따른 타깃 아이템의 랭킹 마진(ranking margin) 감소를 측정합니다. 또한 순위 보존 목적함수를 통해 전체 이력에서 유용한 정보를 추가로 유지합니다. 다양한 실제 데이터셋에 대한 포괄적인 실험을 통해 PROVE-REC이 강력한 순차적, 생성형 및 LLM 강화 베이스라인을 일관되게 능가하며 최대 7.45%의 성능 향상을 달성함을 입증합니다. 통제된 소거 연구(ablation study)는 2단계 패스 아키텍처와 검증 목적함수의 효과를 확인해 줍니다. 나아가 PROVE-REC은 순위 품질을 보존하면서도 과거 증거에 더욱 강력하게 그라운딩되고 추천에 더 큰 영향력을 미치는 주장을 생성합니다.
순차 추천 시스템에서 시간적 귀속을 위한 설명 가능 방법의 체계적 벤치마크
A Systematic Benchmark of Explainable Methods for Temporal Attribution in Sequential Recommendation Systems
순차 추천 시스템(Sequential RecSys)은 현대 개인화의 중심에 있으며, 사용자의 과거 상호작용 시퀀스를 활용해 다음 단계 의사결정을 이끈다. 심층 학습 모델, 특히 CNN 및 트랜스포머 기반 아키텍처는 이러한 이력에서 시간적 의존성을 포착하는 데 매우 효과적임이 입증되었다. 투명성과 신뢰를 위해, 어떤 과거 상호작용이 특정 추천을 이끄는지 이해하는 것은 모델 행동을 감사하는 개발자와 근거를 원하는 사용자 모두에게 점점 더 중요해지고 있다. 그러나 이러한 모델에 예측력을 부여하는 비선형성은 동시에 블랙박스로 만들어, 의사결정을 특정 상호작용에 귀속하기 어렵게 한다. 그래디언트 기반, 교란(perturbation) 기반, 어텐션 기반 설명 가능성 방법은 존재하지만, 순차 추천에서 그 충실성(faithfulness)에 대한 체계적 벤치마크는 부재하다. 우리는 한 모델이 타임스텝별 귀속 점수를 제공하고, 별도로 학습된 마스킹-강건(masking-robust) 탐침(probe)이 예측 확률의 변화를 측정하는 이중 모델 마스킹 지표를 도입하여 이 공백을 메운다. 이 지표를 사용해 KuaiRand와 MovieLens에서 CNN, 트랜스포머, SASRec, BERT4Rec 백본에 걸쳐 열 가지 XAI 방법을 벤치마크하고, 시간적 귀속 패턴, 아이템 인기도 교란(confounding), 입력 손상에 대한 강건성 분석을 보완한다. 핵심 발견은 다음과 같다: (1) 그래디언트 기반 방법, 특히 GradientSHAP와 Integrated Gradients가 가장 충실하고 강건한 귀속을 제공한다; (2) 원시 어텐션 가중치는 신뢰할 수 없지만, 그래디언트 가중 어텐션은 더 짧은 시퀀스에서 충실성을 회복하며, 더 긴 구간에서는 소프트맥스 어텐션 확률이 균일한 중요도 점수로 수렴하면서 정보가 있는 상호작용을 식별하는 방법의 능력이 줄어들어 성능이 저하된다; (3) 충실한 방법에서의 시간적 귀속 패턴은 최근성(recency)이나 인기도 바이어스가 아니라 실제 과업 구조를 반영한다.
MEMOIR: 선호 드리프트 스펙트럼 전반의 추천을 위한 시간적 행동 메모리
MEMOIR: Temporal Behavioral Memory for Recommendation Across the Preference-Drift Spectrum
우리는 사용자 상호작용 이력을 시간적 윈도우로 분할하고, 대규모 언어 모델(LLM)을 사용하여 각 기간별 의미적 행동 메모리를 생성하며, 현재 상태·진화 방향·예측된 미래를 단일 사용자 표현으로 집계하는 프레임워크 MEMOIR을 제안한다. Amazon Reviews 2023의 Electronics 및 Clothing_Shoes_and_Jewelry 카테고리에서 MEMOIR은 집계 NDCG@10(0.0643 vs. 0.0641)에서 가장 강력한 기준선인 UniSRec과 통계적으로 동률이며, 보고된 네 가지 지표를 2-2로 나눈다: MEMOIR은 NDCG@10과 MRR에서 앞서고, UniSRec은 HR@10과 HR@20에서 앞선다. 어블레이션 연구에 따르면, 진화 보존 대조 손실(evolution-preserving contrastive loss), 그 방향 일관성 항(directional-consistency term), 또는 시간적 윈도우 분할 자체와 같은 단일 아키텍처 구성요소가 ID 기반 SASRec 대비 MEMOIR의 약 18% 상대적 향상을 개별적으로 설명하지 못한다; 네 가지 어블레이션 모두 집계 NDCG@10에서 전체 모델의 2% 이내에 위치한다. 대신 복합 선호 드리프트 점수로 테스트 성능을 계층화하면 향상이 집중되는 지점이 드러난다: MEMOIR은 분포의 고·저 드리프트 극단에 있는 사용자들에서 특히 순위 품질 지표(NDCG@10, MRR)에서 앞서는 반면, UniSRec은 모든 드리프트 계층에서 볼륨 지향 HR@10/HR@20 지표를 주도하고 중간 구간에서는 순위 품질에서 MEMOIR을 앞선다. 우리는 거의 동률인 집계 수치나 단일 어블레이션 구성요소가 아닌, 이 드리프트 계층화 패턴을 MEMOIR의 가장 실질적이고 재현 가능한 발견으로 보고하며, 이것이 성립하는 이유를 향후 연구를 위한 열린 질문으로 제시한다.
STEP: 시간적·교육적 궤적 모델링을 통한 경력 경로 추천
STEP: Career-Path Recommendation via Temporal and Educational Trajectory Modeling
경력 경로는 수십 년에 걸친 기술 습득, 역할 전환, 교육 투자를 담고 있으며, 이를 대규모로 이해하는 것은 인력 계획, 노동 시장 정책, 취업 추천의 근간이 된다. 이력서는 경력 경로에 관한 풍부한 정보 원천으로, 업무 경험, 교육, 기술에 대한 상세한 설명을 포함한다. 그러나 비정형적이고 이질적이며 다국어로 작성되는 특성으로 인해 대규모 체계적 분석이 오랫동안 어려웠다. 대규모 언어 모델(LLM)의 등장으로, 비정형 이력서에서 시간적·교육적 신호를 포함한 풍부한 경력 궤적 데이터를 추출하는 것이 가능해졌으며, 이는 경력 경로 추천에 새로운 기회를 열어준다. 이 기회를 활용하여, 우리는 STEP(Sequential Trajectory of Employment Prediction)을 제안한다. STEP은 경력 궤적에서 다음 직업을 예측하기 위해 시간적·교육적 신호를 활용하는 새로운 경력 경로 추천 시스템이다. STEP은 시간적 역학을 모델링하기 위한 시간 감쇠 게이트 순환 유닛(GRU) 셀, 교육 수준에 조건화된 Feature-wise Linear Modulation(FiLM), 그리고 다음 직업 예측을 위한 관련 특징 선택에 어텐션 기반 시퀀스 풀링을 통합한다. STEP의 내부 직업 표현을 개선하기 위해, 우리는 ROUTE를 소개한다. ROUTE는 먼저 비지도 노이즈 제거 오토인코딩을 통해 다국어 인코더를 경력 도메인에 적응시키고, 이후 가이드된 부정 샘플 선택을 활용한 지도 대조적 미세조정을 수행하는 2단계 대조 학습 절차이다. 우리는 공개 제공 중인 JobHop 데이터셋의 개선 버전을 포함한 4개의 경력 궤적 데이터셋에서 STEP을 평가하고, 다음 직업 예측에서 최신 기준 모델들을 능가함을 보인다. 재현 가능한 경력 궤적 연구를 지원하기 위해 데이터셋과 코드는 공개 배포된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.