arXiv:2608.14841v1 cs.AI

리랭커가 보는 것: 장문 다중 모달 문서 질의응답을 위한 다각도 페이지 주석

What the Reranker Sees: Multi-Aspect Page Annotation for Long-Document Multimodal Question Answering

Guanchen Wu, Jiayuan Ding, Subhabrata Mukherjee, Carl Yang

제출 2026-08-14

한국어 초록

텍스트, 표, 차트, 그림이 혼합된 수십에서 수백 페이지에 달하는 문서를 대상으로 하는 장문 시각 질의응답(VQA)은 일반적으로 '검색 후 독해(retrieve-then-read)' 파이프라인을 따릅니다. 본 연구의 설정에서는 병목 현상이 검색 재현율(recall)에서 리랭커 측의 근거 선택으로 이동합니다. MMLongBench-Doc에서 BGE-M3는 Recall@20 = 0.86에 도달하지만 F1@5는 0.254에 불과하며, 시각적 검색기인 ColPali조차 F1@5 = 0.332에 그칩니다. 원시 텍스트 스니펫만 확인하는 텍스트 전용 리랭크 대규모 언어 모델(LLM)은 상류 검색기가 이미지를 인코딩했더라도 표, 차트, 레이아웃 근거를 놓칩니다. 이에 따라 상호 보완적인 두 가지 구성 요소로 이루어진 Trident를 제안합니다. 첫째는 시각적 캡션, 섹션 경로, 엔티티 태그, 다축 개념 일치 항목, 텍스트 스니펫을 포함하여 각 후보를 LLM이 읽을 수 있는 의미론적 레코드로 변환한 후 단일 적응형 K(adaptive-K) 리랭크 호출을 수행하는 검색기 무관 LLM 리랭커인 Trident-R이며, 둘째는 종합 전에 주제, 엔티티, 구조적 관점에서 VLM에 프롬프트를 제공하는 생성 측 모듈인 Trident-S입니다. 두 가지 장문 문서 데이터셋에서 주석+리랭크 프로토콜은 5개의 이종 풀 전반에 걸쳐 검색 F1을 크게 향상시켰으며, 리랭크된 모든 풀은 가장 강력한 적응형 K 기준선(baseline)인 PageIndex를 넘어섰습니다. 주석이 없는 LLM 리랭크는 첫 번째 적중 순위를 거의 바꾸지 못하여 성능 향상이 구조화된 주석에서 비롯됨을 보여줍니다. Trident-S는 설계상 개방형 종합 질문을 목표로 하여 해당 질문에서 생성 정확도를 최대 6.6점 끌어올립니다. 최고의 Trident 구성은 본 평가에서 가장 강력한 다운스트림 QA 파이프라인이며, 두 LLM 심사위원 간의 순위 일치도(kappa = 0.913) 또한 일관되게 나타났습니다.

원문 초록

Long-document visual question answering (VQA) over documents of tens to hundreds of pages mixing text, tables, charts, and figures typically follows retrieve-then-read pipelines. In our setting, the bottleneck shifts from retrieval recall to reranker-side evidence selection: on MMLongBench-Doc, BGE-M3 reaches Recall@20 = 0.86 but only F1@5 = 0.254, and even the visual retriever ColPali reaches only F1@5 = 0.332; a text-only rerank LLM seeing only raw snippets misses table, chart, and layout evidence even when the upstream retriever encoded images. We propose Trident, with two complementary components: Trident-R, a retriever-agnostic LLM reranker that converts each candidate into an LLM-readable semantic record, including a visual caption, section path, entity tags, multi-axis concept hits, and a text snippet, then performs a single adaptive-K rerank call; and Trident-S, a generation-side module that prompts the VLM under topical, entity, and structural lenses before synthesis. On two long-document datasets, the annotation+rerank protocol substantially improves retrieval F1 across five heterogeneous pools, with every reranked pool exceeding the strongest adaptive-K baseline PageIndex. An LLM rerank without the annotation barely changes first-hit ranking, indicating the lift comes from the structured annotation. Trident-S targets open-ended synthesis questions by design, adding up to 6.6 points in generation accuracy on these questions. The best Trident configuration is the strongest downstream QA pipeline in our evaluation, with rankings consistent across two LLM judges (kappa = 0.913).

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.14841v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.