arXiv:2610.02880v1 cs.CV

발견했으나 읽지 못함: 추출된 텍스트가 문서 비전-언어 모델의 검색-읽기 격차를 해소하는 경우

Found but Not Read: When Extracted Text Closes the Retrieval-Reading Gap in Document Vision-Language Models

Qingtao Xia, Siyao Cheng, Jiahua Bao, Jiaxing Du, Jie Liu

제출 2026-10-02

저자 비고

arXiv Comments

5 pages, 5 figures, 3 tables. Submitted to ICASSP 2027

한국어 초록

검색-증강 문서 질의응답은 적절한 페이지를 찾기만 하면 비전-언어 모델(VLM)이 이를 읽을 수 있다고 가정합니다. 본 논문에서는 이러한 가정이 종종 빗나가 검색-읽기 격차(retrieval-reading gap), 즉 증거를 찾았음에도 사용하지 못하는 현상이 발생함을 보여줍니다. 쌍체 프로토콜(paired protocol)을 통해 검색된 페이지 이미지만 사용한 답변과 동일한 이미지에 추출된 텍스트를 함께 제공한 답변을 비교함으로써 이러한 격차를 분리하여 측정합니다. 추적 가능한 증거를 포함하는 자체 벤치마크인 FoveDoc-Bench에서 검색 단계는 거의 모든 증거 페이지를 찾아내지만, CPU 기반 OCR 텍스트를 추가하면 엄격한 정확도(strict accuracy)가 13~16포인트 향상됩니다. 정확한 텍스트 층(text layer)을 제공할 경우 이러한 이득은 대략 두 배로 증가하며, 이는 세 가지 계열의 6개 VLM 전반에서 나타나고 단일 계열 내에서는 모델 규모가 커질수록 격차가 좁혀지기는 하지만 완전히 사라지지는 않습니다. 판독기(reader)는 이 증거를 읽을 수는 있지만 찾아내지는 못합니다. 증거 영역을 잘라내어(crop) 제공하면 텍스트 추가로 인한 이득의 대부분을 회복하지만, 페이지 상에 해당 영역을 상자(box)로 표시하는 방식은 전혀 효과가 없습니다. 또한 동일한 프로토콜을 통해 두 가지 한계를 확인했습니다. 추출된 텍스트는 텍스트 형태의 증거에는 도움이 되지만 차트와 그림에서는 중립적이거나 오히려 해롭습니다. 이러한 이점은 검색 성능이 저하될수록 줄어들며, 동일한 형태의 무관한 텍스트는 감지할 수 있는 수준의 이득을 전혀 제공하지 못합니다. 즉, 추출된 텍스트는 제대로 작동하는 검색을 증폭시키는 장치일 뿐, 실패한 검색을 대체할 수 있는 수단은 아닙니다. 본 연구의 코드는 https://github.com/atoz03/fovedoc-sup 에서 확인할 수 있습니다.

원문 초록

Retrieval-augmented document question answering assumes that once the right page is found, a vision-language model (VLM) can read it. We show that this assumption often fails, leaving a retrieval-reading gap: evidence found but not used. A paired protocol isolates this gap by comparing answers from the retrieved page images alone with answers from the same images plus their extracted text. On FoveDoc-Bench, our benchmark with traceable evidence, retrieval finds nearly every evidence page, yet adding CPU-OCR text raises strict accuracy by 13 to 16 points. An exact text layer roughly doubles the gain, which appears across six VLMs from three families and, within one family, narrows with scale without closing. The reader can read this evidence but cannot find it: crops of it recover most of the text gain, boxes around it on the page none. The same protocol identifies two boundaries. Extracted text helps on textual evidence but is neutral or harmful on charts and figures. Its advantage shrinks as retrieval degrades, and unrelated text of the same form adds nothing detectable. Extracted text is an amplifier of retrieval that works, not a substitute for retrieval that does not. Our code is available at https://github.com/atoz03/fovedoc-sup.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02880v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02510v1cs.AI공통 태그 Information Retrieval, RAG, Retrieval-augmented Generation

경영학 교육을 위한 온프레미스 다중 강좌 RAG 튜터링: 캠퍼스 AI 튜터의 하드웨어-소프트웨어 트레이드오프

On-Premises Multi-Course RAG Tutoring for Business Education: Hardware-Software Trade-offs in a Campus AI Tutor

검색-증강 생성(RAG) 기반 캠퍼스 AI 튜터는 교재와 학생 대화를 기관 인프라 내에 유지하면서 지정된 강의 자료를 바탕으로 답변을 그라운딩(grounding)해야 합니다. 본 논문에서는 캠퍼스 웹 게이트웨이 뒤에 배포되고 Moodle에 임베드되어 사용되도록 설계된 학부 경영학 교육용 온프레미스 다중 강좌 RAG 튜터인 CourseChat을 소개합니다. 고유한 강좌 참조 번호(CRN)로 구분되는 6개의 격리된 강좌가 FastAPI 서비스, 로컬 벡터 데이터베이스, Ollama로 서빙되는 로컬 대규모 언어 모델(LLM)을 실행하는 트윈 엣지 AI 호스트를 공유합니다. 본 연구는 두 차례의 생성 모델 평가 라운드, 별도의 고정 근거 기반 소스 충실도 비교, 대화 및 퀴즈 감사를 보고합니다. 몇몇 더 큰 모델들은 강의실 속도 기준을 통과하지 못했으나, 12B 모델과 7B 대안 모델은 통과했습니다. 별도의 전문가 혼합(MoE) 후보 모델은 일부 수정을 개선했으나 새로운 사실적 오류 및 연속성 오류를 야기했습니다. 따라서 8B 모델이 보편적으로 최적이라고 주장하기보다는 전반적인 개선이 입증될 때까지 기존 8B 프로덕션 모델을 유지합니다. 소프트웨어 변경을 통해 강좌 범위를 보존하면서 후속 주제 해결을 개선했으며, 65개 모듈에 걸친 435개의 사전 구축된 질문을 통해 실시간 생성과 연습 문제를 분리했습니다. 이 결과는 모델 선택, 근거 선택, 서빙 호환성, 제품 설계를 통합적인 엔지니어링 의사결정으로 다루어야 함을 뒷받침합니다. 다만 학습 효과가 입증된 것은 아니며, 교수진 평가, 피크 부하 용량, 완전한 퍼블릭 게이트웨이 수용성은 여전히 별도의 평가 과제로 남아 있습니다.

arXiv:2609.27009v1cs.CL공통 태그 Information Retrieval, RAG, Retrieval-augmented Generation

LEGO: 법률 추론을 위한 Expert GraphRAG와 Expert Chain-of-Thought의 시너지

LEGO: Synergizing Expert GraphRAG and Expert Chain-of-Thought for Legal Reasoning

대규모 언어 모델(LLM)은 법률과 같은 고위험 영역에 점점 더 적용되고 있으나, 복잡한 법률 추론은 두 가지 구조적 난제로 여전히 제한된다. 첫째, 기존 RAG 및 GraphRAG 방법은 어휘적 또는 의미적 유사성을 강조하는 반면, 법조문 간의 규범적 관계를 간과한다. 둘째, 기본 사고의 연쇄(Chain-of-Thought) 프롬프팅은 법률 추론의 규범적 구조를 강제하지 않은 채 그럴듯한 근거를 생성할 수 있다. 법률 추론 영역의 파이프라인 병목을 해결하기 위해, 우리는 복잡한 법률 추론을 위해 Legal Expert GraphRAG와 expert Chain-of-thought를 상호 보완적으로 결합하는 이중 모듈 프레임워크인 LEGO를 제안한다. ExpertGraphRAG는 전문가 주석이 달린 민법 그래프에 이러한 규범적 관계를 인코딩하고, 탐욕적 규범 커버리지(normative-coverage) 검색 알고리즘을 사용하여 사례별 조문 부분 그래프를 동적으로 추출한다. 반면 ExpertCoT는 검색된 조문과 사건 사실을 구조화된 조문-사실-결론(Provision-Fact-Conclusion) 추론으로 구성한다. Qwen3-8B 백본을 사용할 때 LEGO는 LawExamQA_Civil에서 40.53% exact-match 정확도를 달성하여, 평가한 RAG 및 CoT 베이스라인을 능가하고 평가한 더 큰 모델들과 유사한 성능을 보이며, 다중 홉 질문에서도 견고성을 유지한다. 또한 개방형 벤치마크에서 평가한 베이스라인 중 최고 결과를 달성한다. 절제 연구(ablation studies)는 두 모듈의 개별적이고 상호 보완적인 기여를 확인하며, LLM의 복잡한 법률 추론 능력 향상에서 LEGO의 효과를 보여준다. 코드와 데이터셋은 다음 링크에서 확인할 수 있다: https://github.com/BLK-WHT/LEGO

arXiv:2609.27359v1cs.CL공통 태그 Information Retrieval, RAG, Retrieval-augmented Generation

하이브리드 RAG와 로컬 배포 대규모 언어 모델을 활용한 처리활동기록부(RoPA) 자동 추출

Automated Extraction of Records of Processing Activities (RoPA) Using Hybrid RAG and Locally Deployed Large Language Models

2026년 1월 1일부터 시행되는 베트남 개인정보 보호법(법률 제91/2025/QH15호)과 시행령 제356/2025/ND-CP호는 조직이 처리활동기록부(Records of Processing Activities, RoPA)를 작성하고 유지하도록 요구한다. RoPA를 수작업으로 작성하는 것은 많은 노동력이 필요하며, 클라우드에서 호스팅되는 대규모 언어 모델(LLM)은 데이터 주권 요건과 충돌할 수 있다. 본 논문은 tsvector 기반 어휘 순위화, 밀집 벡터(dense-vector) 검색, 상호 순위 융합(Reciprocal Rank Fusion, RRF), 그리고 로컬에 배포된 LLM을 결합한 하이브리드 검색을 사용하여 RoPA 정보를 자동으로 추출하는 시스템인 RoPA Manager를 제안한다. 또한 32개 조직, 77개 처리 활동, 12개 필드 그룹, 4,338개 참조 값으로 구성된 베트남어 RoPA 벤치마크를 소개한다. 평가는 세 가지 서로 다른 수준에서 보고한다. LLM을 호출하지 않고 교란된 데이터로 테스트한 자동 채점기는 F1 = 0.9493 [0.9436, 0.9548]을 달성했으며, 이는 종단 간 추출 정확도가 아니라 채점기의 견고성을 측정한 것이다. 종단 간 추출은 참조 레이블 대비 50.04-55.25%의 토큰 커버리지를 달성했다. 두 명의 독립적인 전문가가 1,558개의 참조 값(벤치마크의 35.9%)을 검토한 결과 잘못된 값은 발견되지 않았으며, 99.68%의 일치도와 PABAK = 0.9936을 기록했다. 값 수준의 정밀도는 측정하지 않았다. 24GB GPU에서 32개의 쌍체 시나리오에 걸쳐 평가한 결과, 로컬에 배포된 Qwen3.5-27B-GPTQ-Int4는 클라우드 기반 DeepSeek-V4-Flash와 통계적으로 유의한 차이를 보이지 않았으나(DeepSeek 쪽이 0.20 퍼센트 포인트 우세, 95% CI [-0.93, 1.32], p = 0.72), Gemma-4-31B는 유의하게 더 낮은 성능을 보였다(p < 0.01).

arXiv:2609.27814v1cs.CL공통 태그 Information Retrieval, RAG, Retrieval-augmented Generation

LabourCrew: 노동법에 대한 신뢰 가능한 적대적 심의 및 법령 추론을 위한 멀티 에이전트 RAG 프레임워크

LabourCrew: A Multi-Agent RAG Framework for Trustworthy Adversarial Deliberation and Statutory Reasoning over Labour Law

법령 기반 질의응답(statutory question answering)에서는 검증 불가능한 노동권 관련 답변이 심각한 법적 결과를 초래할 수 있으므로, 모든 주장이 단순한 관련성을 넘어 반드시 증거로 추적 가능해야 합니다. 기존 시스템은 이에 미치지 못합니다. 단일 패스(single-pass) 검색-증강 생성(RAG)은 증거 부족을 감지하지 못하며, 멀티 에이전트 법률 토론 시스템은 그라운딩(grounding)을 프롬프트 관례 수준으로 취급하여 에이전트가 검색되지 않은 증거를 인용하도록 허용합니다. 이러한 격차를 해결하기 위해, 세 가지 그라운딩 메커니즘을 중심으로 구축된 멀티 에이전트 RAG 프레임워크인 LabourCrew를 소개합니다. 첫째, 고정 길이 스팬 대신 장, 조항, 단서 조항, 상호 참조 구조를 명시적으로 연결하는 그래프 인덱스인 StatuteGraph, 둘째, 옹호인(advocate)과 해석인(interpreter)을 증거 원장에 국한하여 검색되지 않은 텍스트를 인용하는 것을 원천 차단하는 동시에, 개별 실패가 시스템 다운으로 이어지지 않고 점진적으로 저하되도록 옹호인을 병렬 실행하는 내결함성 감독 위원회로 구성된 증거 교환 프로토콜(Evidence Exchange Protocol), 셋째, 단정적인 수락/기각 결정을 신뢰 점수로 대체하고 오수락률(false-accept rate)에 대한 무분포 경계(distribution-free bound)를 확보하기 위해 등각 위험 제어(conformal risk control)로 임계값을 설정하는 보정된 신뢰 게이트(Calibrated Trust Gate)입니다. 7개 추론 범주와 3개 난이도 단계에 걸친 방글라데시 2006년 노동법 기반의 500개 벵골어 문항 세트인 LabourActQA에서 평가를 수행했습니다. 본 프레임워크는 실증적 오수락률을 목표치($\alpha = 0.10$) 이내인 0.081로 낮추고, HyDE RAG, Graph-RAG, Hierarchical RAG 대비 가장 높은 답변 관련성(Answer Relevancy)을 달성했으며(0.862 $>$ 0.839, 0.815, 0.828), 질문 난이도가 높아짐에 따라 급격한 성능 저하 없이 점진적으로 저하됩니다. 이러한 결과는 저자원 법령 도메인에서 법률 질의응답을 감사 가능하게 만드는 핵심이 검색 품질 단독이 아닌 보정된 기권(calibrated abstention)임을 보여줍니다.

arXiv:2609.27844v1cs.AI공통 태그 Information Retrieval, RAG, Retrieval-augmented Generation

정책 제약 LLM 의료 이의 생성을 위한 에이전트 거버넌스 및 적대적 검증

Agentic Governance and Adversarial Verification for Policy-Constrained LLM Healthcare Appeal Generation

청구 거절 관리는 미국 의료에서 연간 약 2,600억 달러의 행정 부담 비용을 발생시킨다. 대규모 언어 모델(LLM)과 검색-증강 생성(RAG)은 유창한 임상 텍스트를 생성할 수 있지만, 단일 에이전트 아키텍처는 고위험 의료 환경에서 실패한다: 근거 없는 임상 세부사항을 도입하고 계층적 지불자(payer) 정책의 논리 구조를 잃는다. 우리는 명시적 정책 및 증거 제약 하에서 의료 필요성(medical-necessity) 이의 생성을 위한 다중 에이전트 아키텍처인 AGVF(Agentic Governance and Adversarial Verification Framework)를 제안한다. AGVF는 이의 합성을 다섯 에이전트—정책 형식화, 증거 검색, 격차 분석, 적대적 비평, 게이트된 합성—에 걸친 제약 마르코프 결정 과정(CMDP)으로 모델링한다. 고정된 정책 제약 그래프에 대한 정제(refinement)가 증거 결핍을 단조적으로 감소시키며, 완전한 만족 프론티어 또는 국소화된 증거 격차 중 하나로 종료됨을 증명한다. 결정론적 인용 그라운딩(citation-grounding) 게이트는 허용 가능한 증거 없이 단정이 공유 상태에 들어가는 것을 방지한다. 우리는 참조 구현을 제공하고, 비식별화된 공개 병원 퇴원 데이터에서 매개변수화한 1,000건의 합성 이의 사례에서 이를 검증한다. 검증 결과 모든 AGVF 사례에서 인용 그라운딩 위반이 0건임을 확인했고, 모든 에피소드에서 결핍의 단조 감소가 관찰되었다; 게이트를 제거(ablation)하면 위반이 100%로 증가하여 게이트가 핵심(load-bearing) 구성요소임을 확인했다. 본 연구는 실제 환자 기록을 사용하지 않으며 임상 효능을 측정하지 않는다. 따라서 AGVF는 의료 분야 정책 제약 LLM 생성을 위한 이론 기반 에이전트 아키텍처와 검증된 참조 구현을 기여한다.

arXiv:2609.22537v1cs.AI공통 태그 Information Retrieval, RAG, Retrieval-augmented Generation

EvidenT: 증거 그라운딩과 추적 가능성을 통한 신뢰할 수 있는 기업용 어시스턴트 구축

EvidenT: Building Trustworthy Enterprise Assistants through Evidence Groundedness and Traceability

기업용 AI 어시스턴트는 검증 가능하고 출처 증거까지 추적 가능한 응답을 생성해야 한다. 그러나 이질적인 기업 데이터에 대한 검색-증강 생성(RAG)은 인용 표류(citation drift), 근거 없는 내용, 약한 출처 추적 가능성 등의 문제를 겪을 수 있다. 본 논문은 EvidenT(T = Trust + Transparency + Traceability)를 제안한다. 이는 모델 재학습 없이 답변 생성 전에 추출된 증거를 검색된 문서와 대조하여 검증하는 경량 파이프라인이다. EvidenT는 구조화된 구절 추출과 결정론적 어휘 정렬(lexical alignment)을 결합하여 근거 없는 내용을 걸러내고, 인용 표류를 교정하며, 출처 구간(source-span) 추적 가능성을 유지한다. 실제 기업 쿼리 약 500건에서 EvidenT는 프롬프팅 베이스라인 대비 gold-source hit rate를 평균 29% 향상시키고, 검색되지 않은 URL에 대한 인용을 생성하지 않으며, 답변-출처 간 어휘 커버리지가 거의 포화 수준에 달한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.