REGER: 생성형 추천을 위한 시맨틱 ID 기반 아이템 간 관계 모델링
REGER: Modeling inter-item Relations with Semantic IDs for Generative Recommendation
한국어 초록
개인화 추천은 온라인 콘텐츠와 사용자 상호작용으로부터 아이템 간의 의미적 관계와 협업적 관계를 학습하는 데 의존한다. 생성형 추천(GR)은 아이템의 이산 시맨틱 ID(SID)를 자기회귀적으로 생성하는 유망한 패러다임을 제시한다. 그러나 무작위로 초기화된 SID 토큰 임베딩과 처음부터 학습된 GR 모델은 아이템에 내재된 의미적 관계를 직접 계승하지 못하며, 아이템 간 협업 관계는 토큰 수준 어텐션과 다음 토큰 지도를 통해 대체로 암묵적으로만 학습된다. 이러한 한계를 해결하기 위해 본 논문은 아이템 간 관계를 시맨틱 사전학습, 이력 인코딩, SID 생성에 명시적으로 반영하는 통합 프레임워크인 REGER를 제안한다. 먼저 생성형 시맨틱 검색을 통해 GR 모델을 사전학습하여, 의미적으로 유사한 이웃 아이템의 SID를 생성하도록 학습함으로써 아이템 간 의미적 유사성을 계승하게 한다. 또한 전역 어텐션과 SID 경계에 정렬된 지역 어텐션을 결합하여 이력 맥락과 인접 아이템 간의 방향성 전이를 포착한다. 아울러 SID 접두사 트리 상에서 아이템 수준 선호 증류를 형식화하여, 아이템 선호 분포를 접두사 조건부 분포로 정확히 분해하고 아이템 수준 KL 발산을 조건부 KL 항들의 가중 분해로 도출한다. 이 분해에 따라 생성기의 확률을 유효한 다음 토큰에 대해 재정규화하고, 정답 SID 경로를 따라 그 결과 분포를 교사 모델의 조건부 선호에 일치시키며, 증류 목적함수를 교차 엔트로피와 함께 공동으로 최적화한다. 실제 데이터셋에 대한 폭넓은 실험을 통해 제안한 선호 증류의 효과를 검증하였으며, REGER가 효율적인 추론을 유지하면서도 기존 GR 기준선을 일관되게 능가함을 보인다.
원문 초록
Personalized recommendation depends on learning semantic and collaborative relations among items from online content and user interactions. Generative recommendation (GR) offers a promising paradigm by autoregressively generating discrete semantic IDs (SIDs) of items. However, randomly initialized SID token embeddings and GR models trained from scratch do not directly inherit the semantic relations inherent in items, while inter-item collaborative relations are learned largely implicitly through token-level attention and next-token supervision. To address this limitation, we propose REGER, a unified framework that explicitly incorporates inter-item relations into semantic pretraining, history encoding, and SID generation. We pretrain the GR model through generative semantic retrieval, enabling it to inherit inter-item semantic similarity by learning to generate semantic neighbors' SIDs. We combine global attention with local attention aligned with SID boundaries to capture historical context and directed transitions between adjacent items. We formalize item-level preference distillation on the SID prefix tree, deriving an exact factorization of item preference distributions into prefix conditionals and a weighted decomposition of item-level KL divergence into conditional KL terms. Guided by this decomposition, we renormalize the generator's probabilities over legal next tokens and match the resulting distributions to the teacher's conditional preferences along the ground-truth SID path, jointly optimizing the distillation objective with cross-entropy. Extensive experiments on real-world datasets validate the effectiveness of the proposed preference distillation and demonstrate that REGER consistently outperforms existing GR baselines while retaining efficient inference.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.37584v4제출 시각 미확인
- arXiv:2610.37584v3제출 시각 미확인
- arXiv:2610.37584v2제출 시각 미확인
- arXiv:2610.37584v1
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.