PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.05087v4cs.CL

강화학습을 통한 블랙박스 검색용 문서 최적화

Document Optimization for Black-Box Retrieval via Reinforcement Learning

생성형 대규모 언어 모델(LLM)은 쿼리 재작성 및 문서 재순위화(reranking)와 같은 작업을 위해 검색 파이프라인의 추론(inference) 시점 구성 요소로 점점 더 많이 활용되고 있습니다. 그러나 이러한 온라인 접근 방식은 지연 시간에 민감한 검색 경로에 비용이 많이 드는 자기회귀 계산을 직접 배치하게 됩니다. 본 연구에서는 대안적인 축을 탐색합니다. 즉, LLM을 활용해 문서를 개선하여 더 나은 표현으로 재작성하고 계산을 오프라인으로 이전하는 방식입니다. 하지만 유용한 문서 재작성을 생성하는 것은 간단하지 않습니다. 검색은 본질적으로 판별적(discriminative)이므로, 효과적인 재작성은 검색기(retriever)의 유사도 개념 하에서 문서를 경쟁 후보들보다 관련 쿼리와 더 유사하게 만들어야 합니다. 이에 따라 본 논문에서는 문서 변환을 최적화 문제로 정식화하고, 검색 성능을 향상시키는 재작성을 생성하도록 LLM 또는 VLM을 직접 학습(training)시킵니다. 본 연구에서 제안하는 접근 방식인 DocOpt는 검색기 순위 향상을 보상으로 사용하는 GRPO를 활용하며, 검색 순위에 대한 블랙박스 접근만 필요로 하고, 단일 벡터, 다중 벡터 및 어휘 기반 검색기 전반에 걸쳐 적용될 수 있습니다. 코드 및 시각적 검색 작업에서 제로샷(zero-shot) LLM 재작성과 DocOpt를 평가한 결과, 문서 재작성이 검색 성능을 향상시킬 수 있으며 재작성을 최적화하면 추가적인 이득을 얻을 수 있음을 확인했습니다. 예를 들어 OpenAI text-embedding-3-small은 직접 검색 시 평균 58.35 nDCG@5를 달성하지만, 제로샷 재작성을 적용하면 GPT-5.4-mini에서 60.83, Claude Haiku 4.5에서 63.75, Qwen3에서 64.23으로 향상됩니다. DocOpt는 성능을 67.94까지 더욱 향상시켜, 6.5배 더 비싼 text-embedding-3-large 검색기의 66.15를 능가합니다.