시맨틱 ID의 상위 레벨 유도를 통한 하위 레벨의 학습 가능성 확보
Guiding the coarse levels of semantic IDs makes the fine levels learnable
한국어 초록
생성형 검색(generative retrieval)은 각 아이템을 짧은 시맨틱 ID(Semantic ID, SID)로 표현하고, 추천을 해당 시퀀스의 자기회귀적 생성으로 다룹니다. 토크나이저(tokenizer)가 아이템 임베딩(embedding)을 재구성하도록 독립적으로 학습되기 때문에, 그 코드들은 다운스트림 대규모 언어 모델(LLM)이나 최종 태스크 어느 쪽과도 정렬(alignment)되지 않습니다. 따라서 거의 모든 SID 시스템은 코드를 이해하기 쉽게 만들기 위한 정렬 말뭉치, 추론/강화학습(RL), 토큰(token)별 인코더를 도입하거나, 코드가 태스크를 인식하도록 학습된 토크나이저 지도(supervision)를 도입하는 등 이 격차를 해소하기 위해 추가적인 노력을 기울입니다. 그러나 이렇게 회복된 의미는 콘텐츠에서 파생된 것이어서 태스크가 필요로 하는 의미와 일치하지 않을 수 있습니다. 본 연구에서는 구조적으로 가장 중요한 레벨을 유의미하게 만드는 Guided SID를 제안합니다. 코드북이 학습 가능하도록 유지(여전히 재구성 그래디언트를 수신)하면서도, 결정론적 지도 인덱스 할당(속성 라벨로 최근접 이웃 선택을 대체)을 통해 거친(coarse) RQ-VAE 레벨이 텍스트에 기반(text-grounded, 즉 LLM이 이해 가능)하고 태스크에 적합하도록 선택된 사전 정의된 범주형 속성을 인코딩하도록 강제합니다. 트라이 병합(trie-merge) 구조는 병합된 버킷의 의미적 일관성을 유지하면서 높은 카디널리티나 집합 값을 가진 임의의 속성을 고정된 코드 예산에 매핑합니다. 상위 레벨을 고정함에도 불구하고 충돌 및 재구성 성능이 바닐라 기준선(baseline)과 일치하거나 이를 능가하므로 유도(guiding)에 따르는 본질적인 비용은 없습니다. SID 인코딩만 다른 매칭된 엔드투엔드 A/B 테스트에서, 유도된 검색기는 측정한 모든 리스트 길이에서 재현율(recall)@k를 향상시켰고(k=1에서 1.36배, k=10에서 1.39배), 평균 역순위(MRR)를 0.0260에서 0.0355로 높였으며, 사전 정의된 속성을 4.2배 더 자주 예측합니다.
원문 초록
Generative retrieval represents each item by a short Semantic ID and casts recommendation as autoregressive generation of that sequence. Because the tokenizer is trained independently to reconstruct an item embedding, its codes are aligned with neither the downstream LLM nor the end task. Nearly every SID system therefore spends extra effort to bridge this gap--alignment corpora, reasoning/RL, or per-token encoders to make codes legible, or learned tokenizer supervision to make them task-aware--yet the recovered meaning is content-derived and may not be the meaning the task needs. We introduce Guided SID, which instead makes the levels that matter most meaningful by construction: we force the coarse RQ-VAE levels to encode a predefined categorical attribute--chosen to be text-grounded (hence legible to the LLM) and task-relevant--by deterministic supervised index assignment (overriding nearest-neighbor selection with the attribute label) while keeping the codebooks learnable (they still receive reconstruction gradients). A trie-merge construction maps any high-cardinality or set-valued attribute onto the fixed code budget while keeping merged buckets semantically coherent. Guiding costs nothing intrinsically: collision and reconstruction match or beat the vanilla baseline despite pinning the coarse level. In a matched end-to-end A/B differing only in the SID encoding, the guided retriever improves recall@k at every list length we measure (1.36x at k=1, 1.39x at k=10), raises mean reciprocal rank from 0.0260 to 0.0355, and predicts the pre-defined attribute 4.2x more often.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.22227v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.