PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.12882v2cs.CL

CiteVQA: 신뢰 가능한 문서 지능을 위한 근거 귀속 벤치마킹

CiteVQA: Benchmarking Evidence Attribution for Trustworthy Document Intelligence

멀티모달 대규모 언어 모델(MLLM)은 문서 이해(document understanding) 능력을 크게 향상시켰지만, 현재의 Doc-VQA 평가는 최종 답변만 채점하고 이를 뒷받침하는 근거(evidence)는 검증하지 않는다. 이러한 답변 전용(answer-only) 방식은 중요한 실패 유형을 숨긴다: 모델이 정답에 도달하더라도 잘못된 구절(passage)에 근거를 두는 경우가 있으며, 이는 모든 결론이 특정 소스 영역까지 추적 가능해야 하는 법률, 금융, 의료와 같은 고위험 영역에서 중대한 위험이 된다. 이를 해결하기 위해 우리는 CiteVQA를 소개한다. 이는 모델이 각 답변과 함께 요소 수준(element-level)의 바운딩 박스(bounding-box) 인용을 반환하도록 요구하고, 둘을 함께 평가하는 벤치마크이다. CiteVQA는 7개 도메인과 2개 언어에 걸친 711개의 PDF에서 추출한 1,897개의 질문으로 구성되며, 문서당 평균 40.6페이지를 포함한다. 충실도(fidelity)와 확장성(scalability)을 보장하기 위해, 정답 인용(ground-truth citation)은 마스킹 제거(masking ablation)를 통해 핵심 근거를 식별하고 다단계 품질 관리(multi-stage quality control)를 적용하는 자동화 파이프라인을 통해 생성된다. 우리 평가의 핵심은 엄격한 귀속 정확도(Strict Attributed Accuracy, SAA)로, 답변과 인용된 영역이 모두 정확한 경우에만 예측을 인정한다. 20개의 MLLM을 감사(audit)한 결과, 모델이 정답을 내면서도 잘못된 영역을 인용하는 광범위한 귀속 환각(Attribution Hallucination) 현상이 드러났다. 가장 강력한 시스템(Gemini-3.1-Pro-Preview)조차 SAA가 76.0에 불과했고, 가장 강력한 오픈소스 MLLM은 단 22.5에 그쳤다. 결론적으로, 신뢰 가능한 문서 지능을 향해 CiteVQA는 답변 전용 평가가 간과하는 신뢰성 격차(reliability gap)를 드러내며, 이를 해소하는 데 필요한 도구를 제공한다. 저장소는 https://github.com/opendatalab/CiteVQA 에서 확인할 수 있다.