arXiv:2608.01211v1 cs.CV

VaRS-Doc: 시각적 문서 검색을 위한 잠재적 자가 탐색 기반 해석 인식 가변 표현

VaRS-Doc: Interpretation-Aware Variant Representations via Latent Self-Probing for Visual Document Retrieval

Haocheng Wang, Tongkun Guan, Wei Shen, Xiaokang Yang

제출 2026-08-02

한국어 초록

시각적 문서 검색은 엔터프라이즈 검색, 과학 문헌 탐색, 검색-증강 생성(RAG)과 같은 응용 분야에서 최근 점차 중요해지고 있습니다. 이러한 응용 분야는 시각적으로 풍부한 대규모 문서 모음에서 질의와 관련된 페이지를 효율적으로 식별하는 데 의존합니다. 기존 방법들은 확장 가능하고 대기 시간이 짧은 온라인 검색을 지원하기 위해 오프라인에서 문서를 인코딩하고 인덱싱하는 후기 상호작용(late-interaction) 아키텍처를 흔히 채택합니다. 이러한 효율성에도 불구하고, 이 패러다임은 질의가 알려지기 전에 각 문서를 고정된 표현으로 인코딩해야 합니다. 그러나 시각적 문서 내 동일한 내용이라도 질의 의도에 따라 다른 해석을 유도할 수 있으며, 고정된 표현으로는 이를 포착하기 어렵습니다. 그렇다고 질의가 도착할 때까지 문서 인코딩을 미루는 것은 감당하기 힘든 수준의 온라인 검색 지연 시간을 초래합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 문서 인코딩 중에 모델이 다양한 잠재적 해석을 능동적으로 탐색하도록 하여 문서 표현을 다양화하는 동시에, 각 질의가 가장 적합한 표현을 적응적으로 선택하는 효율적인 후기 상호작용 검색 방식을 유지하는 시각적 문서 검색 프레임워크인 VaRS-Doc을 제안합니다. 나아가 모델이 상호보완적인 의미적 해석을 포착하도록 유도하고 단일 지배적 표현만을 학습하는 상태로 회귀하는 것을 방지하는 2단계 학습 전략을 도입합니다. 시각적 문서 검색 벤치마크에 대한 실험 결과는 VaRS-Doc이 최고 수준(SOTA)의 검색 성능을 달성하며, 질의 무관(query-agnostic) 문서 인코딩과 질의 특화(query-specific) 검색 요구 간의 불일치에 대한 실용적인 해결책을 제공함을 보여줍니다. 코드는 https://github.com/bokufa/VaRS-Doc 에서 확인할 수 있습니다.

원문 초록

Visual document retrieval has recently become increasingly important in applications such as enterprise search, scientific literature discovery, and retrieval-augmented generation. These applications depend on efficiently identifying query-relevant pages across large collections of visually rich documents. Existing methods commonly adopt late-interaction architectures that encode and index documents offline to enable scalable and low-latency online retrieval. Despite its efficiency, this paradigm requires each document to be encoded into a fixed representation before the query is known. However, the same content in a visual document may induce different interpretations depending on the query intent, which a fixed representation struggles to capture. Yet postponing document encoding until the query arrives would incur prohibitive online retrieval latency. To address this gap, we propose VaRS-Doc, a visual document retrieval framework that diversifies document representations by enabling the model to actively explore variant latent interpretations during document encoding, while preserving efficient late-interaction retrieval in which each query adaptively selects the best-fit representation. We further introduce a two-stage training strategy that encourages the model to capture complementary semantic interpretations and prevents it from falling back to train a single dominant representation. Experiments on visual document retrieval benchmarks show that VaRS-Doc achieves state-of-the-art retrieval performance, offering a practical solution to the mismatch between query-agnostic document encoding and query-specific retrieval needs. Code is available at https://github.com/bokufa/VaRS-Doc.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.01211v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.