arXiv:2611.22309v1 cs.AI

모델 내장 트라이 디코딩과 공유 문맥 어텐션을 활용한 효율적인 광폭 빔 생성 검색

Efficient Wide-Beam Generative Retrieval with Model-Native Trie Decoding and Shared-Context Attention

Vedant Jhaveri, Arashpreet Singh Mor, Satyam Kumar, Alex Tsun, Qing Lan, Shaunak Mishra, Sriram Vasudevan

제출 2026-11-18

한국어 초록

생성 검색(GR)은 카탈로그 항목을 짧은 의미 식별자(SID)로 예측한다. 트라이 제약 빔 탐색은 유효한 식별자만 생성하도록 한다. 그러나 빔 폭이 넓어지면 대부분 버리는 전체 어휘 점수 텐서와 같은 프롬프트에 반복 적용하는 어텐션으로 인해 서빙 비용이 커진다. 식별자 트라이를 검증된 GPU 텐서로 저장하는 모델 내장 출력 인터페이스 Trie-Head를 제시한다. Python 사용자 정의 로짓 프로세서(CLP)와 달리 Python 제약 콜백과 전체 어휘 후보 버퍼를 사용하지 않아 CPU와 GPU의 조율 및 메모리 트래픽이 줄어든다. 작은 코드북 후보 집합에 점수를 부여하고 전체 어휘에 대한 정규화 항을 스트리밍 방식으로 계산한다. 재학습 없이도 실수 연산에서 원래 모델의 유효 토큰 점수를 보존한다. 공유 문맥 어텐션은 여러 빔에서 프롬프트의 키·값 블록을 재사용하되, 이후 디코딩 구간은 빔마다 따로 유지한다. 두 방식을 SGLang에 구현하고 LinkedIn Hiring Assistant의 후보자 검색과 Qualification Retrieval Platform의 자격 검색에서 평가했다. Qualification Retrieval Platform 작업 부하에서 빔 폭을 200으로 동일하게 맞췄을 때, 두 방식을 결합한 시스템은 폐루프 처리량을 CLP 기준선 대비 최대 5.57배, BF16 FlashRec 대비 최대 2.63배 높였다.

원문 초록

Generative retrieval (GR) predicts catalog entries as short semantic identifiers (SIDs). Trie-constrained beam search keeps these identifiers valid, but wide beams expose two serving costs: vocabulary-wide score tensors that are mostly discarded, and repeated attention over the same prompt. We present Trie-Head, a model-native output interface that stores the identifier trie as validated GPU tensors. Compared with a Python custom logit processor (CLP), it reduces CPU--GPU coordination and memory traffic by avoiding Python constraint callbacks and vocabulary-wide candidate buffers. It scores compact codebook candidates and streams the full-vocabulary normalizer, preserving the original model's valid-token scores in real arithmetic without retraining. Shared-context attention complements this output path by reusing prompt key/value blocks across beams while preserving their private decode tails. We implement both mechanisms in SGLang and evaluate candidate sourcing for LinkedIn Hiring Assistant and qualification retrieval for the Qualification Retrieval Platform. The combined system improves closed-loop throughput by up to 5.57x over the CLP baseline and up to 2.63x over BF16 FlashRec at a common beam width of 200 on the Qualification Retrieval Platform workload.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22309v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.