생성형 정보 검색(GIR)은 문서 검색을 기존의 '검색 후 순위화(retrieve-and-rank)' 워크플로에서 모델이 문서 식별자(DocID)를 직접 예측하는 시퀀스-투-시퀀스(sequence-to-sequence) 생성으로 전환하며 혁신적인 패러다임으로 부상했습니다. 이러한 DocID의 시맨틱 설계가 성능에 결정적이라는 점은 잘 알려져 있으나, '무엇이 좋은 DocID를 만드는가?'라는 근본적인 질문은 여전히 충분히 탐구되지 않았습니다. 기존 접근 방식은 계산 비용이 큰 다운스트림 평가에 크게 의존하여 체계적인 분석과 빠른 반복(iteration)을 저해합니다. 본 연구에서는 효과적인 수치형 DocID를 정의하는 속성, 메트릭, 트레이드오프에 대한 포괄적인 연구를 제시하여 이 문제를 해결합니다. 구체적으로 본 연구의 기여는 세 가지입니다. 첫째, 단일 설계 공간 내에서 곱 양자화(Product Quantization, PQ)와 잔차 양자화(Residual Quantization, RQ), 그리고 이들의 하이브리드 변형들을 통합하는 단일 프레임워크를 제안합니다. 이를 통해 DocID 길이 및 코드북 크기와 같은 하이퍼파라미터의 영향뿐만 아니라 계층 구조 대 병렬성과 같은 핵심 DocID 속성을 체계적으로 연구할 수 있습니다. 둘째, 전체 모델 학습(training)의 오버헤드 없이 DocID 품질을 정량화하고 구조적 충실도를 평가하기 위한 일련의 학습 프리(training-free) 내재적 메트릭을 정의합니다. MS MARCO 300K 및 NQ320K에 대한 광범위한 실험을 통해, 이러한 구조적 속성들이 검색 효과에 어떻게 영향을 미치는지 분석합니다.
생성형 검색(Generative retrieval)은 관련 문서의 식별자를 생성하도록 언어 모델을 학습시킵니다. 최근 연구에서는 자기회귀(autoregressive) 디코더를 디퓨전(diffusion)으로 대체하고 있으나, 식별자, 학습 레시피, 디코딩을 한 번에 변경하기 때문에 그 차이를 패러다임 덕분으로 돌릴 수 없습니다. 본 연구는 NQ320K 및 MS300K에서 잔차 양자화(residual-quantised), 곱 양자화(product-quantised), 무작위 식별자를 사용하여 자기회귀, 마스크 디퓨전(masked-diffusion), 블록 디퓨전(block-diffusion) 모델을 학습합니다. 식별자 길이와 학습 예산을 고정한 상태에서 각 모델을 여러 방식으로 디코딩합니다. 디코딩만으로도 디퓨전 모델의 Hit@1이 6.6점에서 13.7점까지 변동합니다. 기준 디퓨전 디코딩인 생성 후 매칭(generate-and-match) 방식은 식별자를 생성한 뒤 말뭉치에서 가장 가까운 식별자들을 검색합니다. 생성된 식별자는 NQ320K 질의의 14~21%에서만 정확합니다. 본 연구는 디퓨전 검색기를 디코딩하기 위한 단일 패스 스코어링(one-pass scoring)을 테스트합니다. 즉, 모델이 완전히 마스킹된 식별자를 한 번 읽고, 각 문서는 해당 코드들의 확률로 점수가 매겨집니다. 이 방식은 12개 설정 중 11개에서 생성 후 매칭과 대등하거나 더 우수한 성능을 보입니다. Hit@1에서는 자기회귀 모델이 여전히 앞서고 있으며, NQ320K에서는 이러한 우위가 빔 서치(beam search)가 아닌 모델 자체에서 비롯됩니다. 샘플링된 하나의 식별자에서 시작할 때, 단일 패스 스코어링은 마스크 디퓨전이 빔 서치 대비 보이는 격차의 46~83%를 줄여주지만, 생성 후 매칭에서는 최대 4분의 1에 그칩니다. NQ320K에서 모든 패러다임은 어떤 식별자가 어떤 질의에 답하는지를 대체로 암기합니다. 무작위 식별자는 잔차 양자화 식별자 Hit@1의 83~90%를 유지합니다. 해당 데이터셋에서 곱 양자화 식별자는 자기회귀 모델에서 잔차 양자화 식별자보다 3.4점 앞서며, 디퓨전 모델에서는 -0.7점에서 +3.6점 앞섭니다. 여러 디코딩 방식에 걸쳐 자기회귀 모델의 격차는 디퓨전 모델의 격차를 당 연구의 2점 임계값 부근인 1.5~2.3점 초과합니다. 패러다임 간 비교는 각 패러다임 고유의 레시피와 최적의 디코딩 하에서 보고되어야 합니다.
그림과 표를 포함한 4,999개의 기업 연차 보고서로 구성된 LEDGER 벤치마크를 공개하여 롱컨텍스트 대규모 언어 모델의 재무 검색 및 추출 능력을 평가합니다. 이 데이터셋은 페이지 수준 KPI 검색, 대화형 단일 값 조회, 전체 KPI 추출 등 세 가지 난이도의 평가 작업과 인간 OCR 품질 주석을 제공합니다.