생성형 검색에서 패러다임, 식별자, 디코딩의 분리 분석
Disentangling Paradigm, Identifier, and Decoding in Generative Retrieval
한국어 초록
생성형 검색(Generative retrieval)은 관련 문서의 식별자를 생성하도록 언어 모델을 학습시킵니다. 최근 연구에서는 자기회귀(autoregressive) 디코더를 디퓨전(diffusion)으로 대체하고 있으나, 식별자, 학습 레시피, 디코딩을 한 번에 변경하기 때문에 그 차이를 패러다임 덕분으로 돌릴 수 없습니다. 본 연구는 NQ320K 및 MS300K에서 잔차 양자화(residual-quantised), 곱 양자화(product-quantised), 무작위 식별자를 사용하여 자기회귀, 마스크 디퓨전(masked-diffusion), 블록 디퓨전(block-diffusion) 모델을 학습합니다. 식별자 길이와 학습 예산을 고정한 상태에서 각 모델을 여러 방식으로 디코딩합니다. 디코딩만으로도 디퓨전 모델의 Hit@1이 6.6점에서 13.7점까지 변동합니다. 기준 디퓨전 디코딩인 생성 후 매칭(generate-and-match) 방식은 식별자를 생성한 뒤 말뭉치에서 가장 가까운 식별자들을 검색합니다. 생성된 식별자는 NQ320K 질의의 14~21%에서만 정확합니다. 본 연구는 디퓨전 검색기를 디코딩하기 위한 단일 패스 스코어링(one-pass scoring)을 테스트합니다. 즉, 모델이 완전히 마스킹된 식별자를 한 번 읽고, 각 문서는 해당 코드들의 확률로 점수가 매겨집니다. 이 방식은 12개 설정 중 11개에서 생성 후 매칭과 대등하거나 더 우수한 성능을 보입니다. Hit@1에서는 자기회귀 모델이 여전히 앞서고 있으며, NQ320K에서는 이러한 우위가 빔 서치(beam search)가 아닌 모델 자체에서 비롯됩니다. 샘플링된 하나의 식별자에서 시작할 때, 단일 패스 스코어링은 마스크 디퓨전이 빔 서치 대비 보이는 격차의 46~83%를 줄여주지만, 생성 후 매칭에서는 최대 4분의 1에 그칩니다. NQ320K에서 모든 패러다임은 어떤 식별자가 어떤 질의에 답하는지를 대체로 암기합니다. 무작위 식별자는 잔차 양자화 식별자 Hit@1의 83~90%를 유지합니다. 해당 데이터셋에서 곱 양자화 식별자는 자기회귀 모델에서 잔차 양자화 식별자보다 3.4점 앞서며, 디퓨전 모델에서는 -0.7점에서 +3.6점 앞섭니다. 여러 디코딩 방식에 걸쳐 자기회귀 모델의 격차는 디퓨전 모델의 격차를 당 연구의 2점 임계값 부근인 1.5~2.3점 초과합니다. 패러다임 간 비교는 각 패러다임 고유의 레시피와 최적의 디코딩 하에서 보고되어야 합니다.
원문 초록
Generative retrieval trains a language model to generate the identifier of a relevant document. Recent work replaces the autoregressive decoder with diffusion, but changes identifiers, training recipe and decoding at once, so differences cannot be credited to the paradigm. On NQ320K and MS300K, we train autoregressive, masked-diffusion and block-diffusion models with residual-quantised, product-quantised and random identifiers. With identifier length and training budget fixed, we decode each model in several ways. Decoding alone moves a diffusion model's Hit@1 by 6.6 to 13.7 points. Our reference diffusion decoding, generate-and-match, generates an identifier, then retrieves the closest corpus identifiers. The generated identifier is right for 14-21% of NQ320K queries. We test one-pass scoring to decode diffusion retrievers: the model reads a fully masked identifier once, and each document is scored by its codes' probabilities. It matches or beats generate-and-match in 11 of 12 settings. Autoregressive models still lead in Hit@1; on NQ320K, the lead comes from the model, not beam search. Starting from one sampled identifier, one-pass scoring removes 46-83% of masked diffusion's deficit to beam search; from generate-and-match, at most a quarter. On NQ320K, every paradigm largely memorises which identifier answers which query: random identifiers keep 83-90% of the Hit@1 of residual-quantised ones. There, product-quantised identifiers lead residual-quantised ones by 3.4 points in the autoregressive model and by -0.7 to +3.6 in diffusion models; across decodings, AR's gap exceeds diffusion's by 1.5-2.3 points, around our 2-point threshold. Paradigm comparisons must report each paradigm at its own recipe and best decoding.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
13 pages, 7 figures, 11 tables