arXiv:2401.01243

Contrastive Sequential Interaction Network Learning on Co-Evolving Riemannian Spaces

Li Sun, Junda Ye, Jiawei Zhang, Yong Yang, Mingsheng Liu, Feiyang Wang, Philip S. Yu

제출 2024-01-02

원문 초록

The sequential interaction network usually find itself in a variety of applications, e.g., recommender system. Herein, inferring future interaction is of fundamental importance, and previous efforts are mainly focused on the dynamics in the classic zero-curvature Euclidean space. Despite the promising results achieved by previous methods, a range of significant issues still largely remains open: On the bipartite nature, is it appropriate to place user and item nodes in one identical space regardless of their inherent difference? On the network dynamics, instead of a fixed curvature space, will the representation spaces evolve when new interactions arrive continuously? On the learning paradigm, can we get rid of the label information costly to acquire? To address the aforementioned issues, we propose a novel Contrastive model for Sequential Interaction Network learning on Co-Evolving RiEmannian spaces, CSINCERE. To the best of our knowledge, we are the first to introduce a couple of co-evolving representation spaces, rather than a single or static space, and propose a co-contrastive learning for the sequential interaction network. In CSINCERE, we formulate a Cross-Space Aggregation for message-passing across representation spaces of different Riemannian geometries, and design a Neural Curvature Estimator based on Ricci curvatures for modeling the space evolvement over time. Thereafter, we present a Reweighed Co-Contrast between the temporal views of the sequential network, so that the couple of Riemannian spaces interact with each other for the interaction prediction without labels. Empirical results on 5 public datasets show the superiority of CSINCERE over the state-of-the-art methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.08663v2cs.LG공통 태그 Recommendation Systems, Contrastive Learning

MoEMB: 효율적인 전문가 혼합 모델을 통한 범용 멀티모달 임베딩 확장

MoEMB: Scaling Universal Multimodal Embeddings with Efficient Mixture-of-Experts Models

범용 멀티모달 임베딩(Universal Multimodal Embedding, UME)은 복잡성이 높아진 광범위한 태스크와 모달리티를 처리하기 위해 인코더의 용량을 점점 더 많이 요구하고 있습니다. 기존의 스케일링 방법들은 표현(representation) 크기나 검색 비용을 늘리거나, 인코더를 무거운 멀티모달 LLM으로 확장했습니다. Think-Then-Embed(TTE)와 같은 최근 연구들은 추론(reasoning) 토큰을 통한 확장을 탐색하고 있습니다. 그러나 임베딩 모델은 확장이 어렵습니다. 매개변수를 늘리면 대조 학습(contrastive learning)에 필요한 대규모 학습 배치의 크기와 직접적인 트레이드오프가 발생하며, 검색은 엄격한 지연 시간(latency) 내에 제공되어야 하기 때문입니다. 또한, UME 태스크는 복잡성이 다양한데, 임베더를 무작정 확장하면 상당한 중복 연산이 발생할 수 있습니다. 본 연구에서는 전문가 혼합(MoE)을 통해 전문가 축을 따라 UME를 확장하여, 단일 벡터 및 비-자기회귀(non-autoregressive) 인코딩을 유지하면서 인코더 용량을 늘리는 MOEMB를 제안합니다. MoE 기반 UME의 설계 공간과 학습 레시피에 대한 체계적인 연구를 통해, MoEMB는 공개된 MMEB 패밀리 데이터로 학습된 모델 중 MMEB-V2 및 MRMR 모두에서 새로운 SOTA(state of the art)를 달성했습니다. MoEMB는 활성 매개변수가 3B에 불과함에도 활성 매개변수가 4배 이상 많은 TTE 기반 방법들을 훨씬 적은 연산량으로 능가합니다. 확장성과 효율성을 더욱 개선하기 위해, 저자들은 학습 기반 및 추론 전용 방식에 걸친 다양한 전략을 아우르며 MoE 기반 임베딩을 위한 적응형 연산(adaptive computation)에 대한 최초의 종합적인 연구를 수행했습니다. 종합적으로 이러한 결과들은 전문가 확장이 UME를 위한 효과적이고 효율적인 방향임을 뒷받침하며, 적응형 연산은 대규모 검색 및 추천 시스템을 향한 MLLM 기반 임베딩 모델의 효율성을 더욱 향상시킵니다.

arXiv:2607.23986v1cs.IR공통 태그 Recommendation Systems, Contrastive Learning

MEMOIR: 선호 드리프트 스펙트럼 전반의 추천을 위한 시간적 행동 메모리

MEMOIR: Temporal Behavioral Memory for Recommendation Across the Preference-Drift Spectrum

우리는 사용자 상호작용 이력을 시간적 윈도우로 분할하고, 대규모 언어 모델(LLM)을 사용하여 각 기간별 의미적 행동 메모리를 생성하며, 현재 상태·진화 방향·예측된 미래를 단일 사용자 표현으로 집계하는 프레임워크 MEMOIR을 제안한다. Amazon Reviews 2023의 Electronics 및 Clothing_Shoes_and_Jewelry 카테고리에서 MEMOIR은 집계 NDCG@10(0.0643 vs. 0.0641)에서 가장 강력한 기준선인 UniSRec과 통계적으로 동률이며, 보고된 네 가지 지표를 2-2로 나눈다: MEMOIR은 NDCG@10과 MRR에서 앞서고, UniSRec은 HR@10과 HR@20에서 앞선다. 어블레이션 연구에 따르면, 진화 보존 대조 손실(evolution-preserving contrastive loss), 그 방향 일관성 항(directional-consistency term), 또는 시간적 윈도우 분할 자체와 같은 단일 아키텍처 구성요소가 ID 기반 SASRec 대비 MEMOIR의 약 18% 상대적 향상을 개별적으로 설명하지 못한다; 네 가지 어블레이션 모두 집계 NDCG@10에서 전체 모델의 2% 이내에 위치한다. 대신 복합 선호 드리프트 점수로 테스트 성능을 계층화하면 향상이 집중되는 지점이 드러난다: MEMOIR은 분포의 고·저 드리프트 극단에 있는 사용자들에서 특히 순위 품질 지표(NDCG@10, MRR)에서 앞서는 반면, UniSRec은 모든 드리프트 계층에서 볼륨 지향 HR@10/HR@20 지표를 주도하고 중간 구간에서는 순위 품질에서 MEMOIR을 앞선다. 우리는 거의 동률인 집계 수치나 단일 어블레이션 구성요소가 아닌, 이 드리프트 계층화 패턴을 MEMOIR의 가장 실질적이고 재현 가능한 발견으로 보고하며, 이것이 성립하는 이유를 향후 연구를 위한 열린 질문으로 제시한다.

arXiv:2607.11722v2cs.CL공통 태그 Recommendation Systems, Contrastive Learning

STEP: 시간적·교육적 궤적 모델링을 통한 경력 경로 추천

STEP: Career-Path Recommendation via Temporal and Educational Trajectory Modeling

경력 경로는 수십 년에 걸친 기술 습득, 역할 전환, 교육 투자를 담고 있으며, 이를 대규모로 이해하는 것은 인력 계획, 노동 시장 정책, 취업 추천의 근간이 된다. 이력서는 경력 경로에 관한 풍부한 정보 원천으로, 업무 경험, 교육, 기술에 대한 상세한 설명을 포함한다. 그러나 비정형적이고 이질적이며 다국어로 작성되는 특성으로 인해 대규모 체계적 분석이 오랫동안 어려웠다. 대규모 언어 모델(LLM)의 등장으로, 비정형 이력서에서 시간적·교육적 신호를 포함한 풍부한 경력 궤적 데이터를 추출하는 것이 가능해졌으며, 이는 경력 경로 추천에 새로운 기회를 열어준다. 이 기회를 활용하여, 우리는 STEP(Sequential Trajectory of Employment Prediction)을 제안한다. STEP은 경력 궤적에서 다음 직업을 예측하기 위해 시간적·교육적 신호를 활용하는 새로운 경력 경로 추천 시스템이다. STEP은 시간적 역학을 모델링하기 위한 시간 감쇠 게이트 순환 유닛(GRU) 셀, 교육 수준에 조건화된 Feature-wise Linear Modulation(FiLM), 그리고 다음 직업 예측을 위한 관련 특징 선택에 어텐션 기반 시퀀스 풀링을 통합한다. STEP의 내부 직업 표현을 개선하기 위해, 우리는 ROUTE를 소개한다. ROUTE는 먼저 비지도 노이즈 제거 오토인코딩을 통해 다국어 인코더를 경력 도메인에 적응시키고, 이후 가이드된 부정 샘플 선택을 활용한 지도 대조적 미세조정을 수행하는 2단계 대조 학습 절차이다. 우리는 공개 제공 중인 JobHop 데이터셋의 개선 버전을 포함한 4개의 경력 궤적 데이터셋에서 STEP을 평가하고, 다음 직업 예측에서 최신 기준 모델들을 능가함을 보인다. 재현 가능한 경력 궤적 연구를 지원하기 위해 데이터셋과 코드는 공개 배포된다.

arXiv:2607.11168v1cs.CV공통 태그 Recommendation Systems, Contrastive Learning

SISA-Rec: A Semantically Integrated Sequential Recommender with Contrastive Alignment

추천 시스템은 방대한 선택지 중에서 사용자에게 관련 아이템을 추천하는 역할을 한다. 트랜스포머(transformer) 기반 순차 추천에 관한 현재 연구들은 상호작용 로그에서 사용자 선호도를 학습하지만, 대부분 아이템 식별자에 초점을 맞추고 아이템의 의미론적 정보를 충분히 활용하지 않는다. 이러한 한계는 과거 상호작용 데이터가 부족한 희소(sparse) 및 콜드 스타트(cold-start) 환경에서 주요한 도전 과제가 된다. 이 문제를 해결하기 위해, 우리는 의미론적 맥락을 순차 모델링에 직접 임베딩하는 트랜스포머 기반 프레임워크인 SISA-Rec(Semantically Integrated Sequential Recommendation)을 제안한다. 우리의 접근 방식은 게이트 융합 모듈(gated fusion module)을 통해 아이템 ID 임베딩과 BERT 기반 텍스트 임베딩을 결합하고, 셀프 어텐션(self-attention) 메커니즘에 의미론적 유사도를 주입하며, 어텐션 기반 집계 모듈을 활용하여 포괄적인 사용자 표현을 구성한다. 마지막으로, 베이지안 개인화 랭킹(Bayesian Personalized Ranking, BPR)과 대조적 정렬 손실을 결합한 결합 학습 목표가 행동 공간과 의미 공간을 정렬한다. 실험은 99.93%의 희소성을 가진 Amazon Beauty와 Amazon Toys & Games 두 고희소성 데이터셋에서 수행되었다. 결과는 SISA-Rec이 모든 평가 지표에서 최신 기준선 모델을 능가함을 보여준다. BERT4Rec \cite{petrov2022systematic}과 비교하여, SISA-Rec은 Amazon Beauty에서 HR@10을 16.6%, NDCG@10을 10.3% 향상시키고, Amazon Toys & Games에서 HR@10을 23.1%, NDCG@10을 17.9% 향상시킨다. 콜드 스타트 분석은 제안된 모델이 상호작용 이력이 제한된 사용자에게서 가장 큰 성능 향상을 달성함을 추가로 보여준다. 이는 사용자 행동 데이터가 부족할 때 의미론적 정보의 가치를 잘 보여준다. 전반적으로, 결과는 의미론적 정보를 어텐션 메커니즘에 통합하는 것이 더 정확하고 신뢰할 수 있는 추천으로 이어진다는 것을 입증한다.

arXiv:2607.11886v2cs.CV공통 태그 Contrastive Learning

Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.