CiteVQA: 신뢰 가능한 문서 지능을 위한 근거 귀속 벤치마킹
CiteVQA: Benchmarking Evidence Attribution for Trustworthy Document Intelligence
한국어 초록
멀티모달 대규모 언어 모델(MLLM)은 문서 이해(document understanding) 능력을 크게 향상시켰지만, 현재의 Doc-VQA 평가는 최종 답변만 채점하고 이를 뒷받침하는 근거(evidence)는 검증하지 않는다. 이러한 답변 전용(answer-only) 방식은 중요한 실패 유형을 숨긴다: 모델이 정답에 도달하더라도 잘못된 구절(passage)에 근거를 두는 경우가 있으며, 이는 모든 결론이 특정 소스 영역까지 추적 가능해야 하는 법률, 금융, 의료와 같은 고위험 영역에서 중대한 위험이 된다. 이를 해결하기 위해 우리는 CiteVQA를 소개한다. 이는 모델이 각 답변과 함께 요소 수준(element-level)의 바운딩 박스(bounding-box) 인용을 반환하도록 요구하고, 둘을 함께 평가하는 벤치마크이다. CiteVQA는 7개 도메인과 2개 언어에 걸친 711개의 PDF에서 추출한 1,897개의 질문으로 구성되며, 문서당 평균 40.6페이지를 포함한다. 충실도(fidelity)와 확장성(scalability)을 보장하기 위해, 정답 인용(ground-truth citation)은 마스킹 제거(masking ablation)를 통해 핵심 근거를 식별하고 다단계 품질 관리(multi-stage quality control)를 적용하는 자동화 파이프라인을 통해 생성된다. 우리 평가의 핵심은 엄격한 귀속 정확도(Strict Attributed Accuracy, SAA)로, 답변과 인용된 영역이 모두 정확한 경우에만 예측을 인정한다. 20개의 MLLM을 감사(audit)한 결과, 모델이 정답을 내면서도 잘못된 영역을 인용하는 광범위한 귀속 환각(Attribution Hallucination) 현상이 드러났다. 가장 강력한 시스템(Gemini-3.1-Pro-Preview)조차 SAA가 76.0에 불과했고, 가장 강력한 오픈소스 MLLM은 단 22.5에 그쳤다. 결론적으로, 신뢰 가능한 문서 지능을 향해 CiteVQA는 답변 전용 평가가 간과하는 신뢰성 격차(reliability gap)를 드러내며, 이를 해소하는 데 필요한 도구를 제공한다. 저장소는 https://github.com/opendatalab/CiteVQA 에서 확인할 수 있다.
원문 초록
Multimodal Large Language Models (MLLMs) have significantly advanced document understanding, yet current Doc-VQA evaluations score only the final answer and leave the supporting evidence unchecked. This answer-only approach masks a critical failure mode: a model can land on the correct answer while grounding it in the wrong passage---a critical risk in high-stakes domains like law, finance, and medicine, where every conclusion must be traceable to a specific source region. To address this, we introduce CiteVQA, a benchmark that requires models to return \textit{element-level} bounding-box citations alongside each answer, evaluating both jointly. CiteVQA comprises 1,897 questions across 711 PDFs spanning seven domains and two languages, averaging 40.6 pages per document. To ensure fidelity and scalability, the ground-truth citations are generated by an automated pipeline---which identifies crucial evidence via masking ablation and enforces multi-stage quality control. At the core of our evaluation is Strict Attributed Accuracy (SAA), which credits a prediction only when the answer and the cited region are both correct. Auditing 20 MLLMs reveals a pervasive Attribution Hallucination: models frequently produce the right answer while citing the wrong region. The strongest system (Gemini-3.1-Pro-Preview) achieves an SAA of only 76.0, and the strongest open-source MLLM reaches just 22.5. Ultimately, towards trustworthy document intelligence, CiteVQA exposes a reliability gap that answer-only evaluations overlook, providing the instrumentation needed to close it. Our repository is available at https://github.com/opendatalab/CiteVQA.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
원격 탐사 시각적 질의응답에서 답변-그라운딩 일관성 벤치마킹
Benchmarking Answer-Grounding Consistency in Remote Sensing Visual Question Answering
그라운디드 원격 탐사 시각적 질의응답(grounded remote sensing visual question answering)에서 모델은 텍스트 답변을 생성하고 이미지 내 관련 객체를 그라운딩(grounding) 근거로 식별합니다. 기존 평가는 답변의 정확성과 위치 특정(localization) 품질을 측정하지만, 답변-그라운딩 일관성을 직접적으로 평가하지는 않습니다. 본 연구에서는 근거 지지(evidence support), 즉 그라운딩 근거가 모델 자신의 답변을 뒷받침하는지 여부를 통해 이러한 일관성을 평가하는 답변-근거 지지 프로토콜(AESP)을 제안합니다. AESP는 존재 유무, 개수 세기, 비교 질문에 대해 태스크별 규칙을 적용합니다. 나아가 질문, 참조 답변, 모든 관련 객체 수준 주석을 포함하는 15,027개 샘플로 구성된 Grounded Remote Sensing Visual Question Answering(G-RSVQA) 벤치마크를 구축합니다. 7개의 그라운디드 비전-언어(vision-language) 모델에 대한 실험 결과, 세 가지 질문 유형 모두에서 근거 지지 실패가 나타남을 확인했습니다. 근거 평가 부분집합에서 정답의 최대 50.82%는 제공된 그라운딩 근거에 의해 뒷받침되지 않았습니다.
멀티모달 LLM이 인간이 읽는 것을 놓칠 때: 눈을 가늘게 뜨고 읽는 텍스트(Squint Text) 진단 및 학습
When MLLMs miss what humans read: diagnosing and learning to read squint text
멀티모달 대규모 언어 모델(MLLM)은 이미지의 대략적인 구조에 내재된 텍스트(인간이 눈을 가늘게 뜨고 볼 때 복원할 수 있는 텍스트)를 읽지 못하고 텍스트가 존재하지 않는다고 보고할 수 있습니다. 우리는 이러한 텍스트 유형을 '스퀸트 텍스트(Squint Text)'로 명명하고, 실제 프로덕션 모더레이션 파이프라인의 사례에 착안하여 이를 인식 결함 문제로 연구합니다. 본 논문에서는 실제 운영 환경에서 추출한 1,076개의 모더레이션 이미지로 구성된 SquintBench와 메커니즘 진단을 위한 통제된 합성 데이터셋 제품군인 SquintCtrl을 소개합니다. 고정 가중치(frozen-weight) 분석에 따르면 숨겨진 텍스트는 대략적인 신호를 남기지만 글리프(glyph) 식별 정보는 약하게 표현되며, 올바른 공간 영역이 제공될 때 글리프 식별 정보에 대한 접근성이 대폭 향상되어 공간 선택이 주요 병목 현상임을 시사합니다. 또한 고주파수 콘텐츠를 억제하면 고정된 시각적 토큰(visual token) 예산 내에서 텍스트 판독 능력이 향상되며, 시각적 토큰의 수 또한 영향을 미칠 수 있습니다. 이러한 발견을 바탕으로 우리는 Squint OPSD를 제안합니다. 고정된 교사 모델은 다운스케일된 뷰와 정답 텍스트를 특권 문맥(privileged context)으로 제공받으며, 교사의 토큰 수준 분포는 온-정책(on-policy) 궤적을 따라 학생 모델을 지도합니다. 추론(inference) 시점에 학생 모델은 원본 이미지만을 입력으로 받아 읽습니다. Squint OPSD는 SquintBench에서 88.61 ANLS를 달성하여, 미적용 백본의 26.50, 원본 뷰에서 최고 성능의 범용 모델이 기록한 24.44, 다운스케일된 뷰에서 기성 모델(off-the-shelf model)이 기록한 최고치인 68.60을 크게 앞섭니다. 이러한 결과는 추론 시 보조 뷰 없이도 활용 가능한 시각적 증거와 생성된 판독 결과 간의 격차를 실질적으로 좁힙니다.
SWE-DeceptionBench: 소프트웨어 개발 생명주기 전반에서 LLM의 기만적 행동 벤치마킹
SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle
대규모 언어 모델(LLM)은 소프트웨어 개발 생명주기 전반에서 점점 더 많이 사용되고 있다. LLM에 대한 이러한 의존도 증가는 신뢰성에 대한 우려를 불러일으키며, 그중에서도 기만(deception)은 특히 중요한 위험 요소이다. 기만적 행동은 오해를 유발하는 응답이나, 정보를 조작·은폐·왜곡하는 것을 돕는 형태로 나타난다. 이러한 행동을 연구하기 위해, 우리는 소프트웨어 공학에서 LLM의 기만을 평가하기 위한 벤치마크인 SWE-DeceptionBench를 소개한다. 이 벤치마크는 여섯 개의 생명주기 단계와 두 가지 기만 유발 요인을 다룬다: 모델이 실현 불가능하거나 상충되는 요구사항을 인지하면서도 이를 달성 가능한 것처럼 제시하는 능동적 기만(Active Deception), 그리고 모델이 타인을 속이려는 명시적인 사용자 요청의 이행을 돕는 수동적 기만(Passive Deception)이다. 우리는 추가로 외부 유인의 영향을 연구하기 위해 중립(Neutral), 보상(Reward), 압박(Pressure) 조건을 도입하였으며, 이를 통해 중국어와 영어로 구성된 총 720개의 테스트 인스턴스를 구성하였다. 일곱 개의 주요 LLM을 평가한 결과, 중립 조건에서도 상당한 기만이 나타났으며, 능동적 기만의 전체 비율은 49.88%, 수동적 기만의 전체 비율은 64.29%에 달하였다. 기만 비율은 생명주기 단계에 따라 달라졌으며, 외부 유인은 능동적 기만과 수동적 기만에 서로 다른 정도로 영향을 미쳤다. 우리는 또한 경량 방어 기법을 평가하였으며, 가드 모델(guard model)이 많은 기만적 요청을 탐지하지 못하고, Self-Reminder가 기만적 응답을 감소시키지만 완전히 제거하지는 못한다는 것을 발견하였다. 이러한 결과는 신뢰할 수 있는 LLM 기반 소프트웨어 공학을 지원하기 위해 더 효과적인 기만 탐지 및 완화 방법이 필요함을 시사한다.
CCRV-Bench: 비전-언어 모델의 인과적 추론에 대한 제약 기반 평가
CCRV-Bench: Constraint-Based Evaluation of Causal Reasoning in Vision-Language Models
비전-언어 모델(VLM)은 시각 작업에서 뛰어난 성능을 입증해 왔으나, 시각적 인과 추론 능력에 대해서는 여전히 신뢰할 수 있는 평가가 부족합니다. 기존 평가는 모델이 시각적 증거에 기반해 인과 추론을 수행하는지, 아니면 지름길 학습(shortcut learning)을 위한 통계적 상관관계에 의존하는지 구분하기 어려워 실제 능력을 과대평가할 가능성이 있습니다. 본 논문에서는 단일 이미지 물리적 시나리오를 위한 제약 기반 시각 인과 추론 벤치마크인 CCRV-Bench를 제안합니다. 인과 관계 발견, 상태 예측, 인과적 진단, 개입-결과 예측의 네 가지 인과 작업 차원을 평가하는 직교 프레임워크를 구축합니다. 또한 작업에 필요한 물리적 상식을 보존하면서 지름길 단서를 줄이기 위해 개체 기호화, 공간적 그라운딩(spatial grounding), 사실적 적대적 제약 및 미니멀리스트 출력 제약을 도입합니다. 14개 멀티모달 모델에 대한 실험 결과, 제약 민감도는 작업 및 모델에 따라 다른 것으로 나타났습니다. 4가지 인과 작업 중 개입-결과 예측이 가장 큰 평균 유효 성능 저하를 보였고, 공간적 그라운딩이 평균적으로 가장 치명적인 제약이었으며, 사실적 적대적 제약은 평가된 모든 모델의 DCR을 향상시켰습니다. 이러한 결과는 제약이 없는 상태의 성능이 제약 조건 하에서의 강건성을 결정하지 않으며, 단일 종합 점수가 인과 식별, 공간적 그라운딩, 제약 준수 표현에서의 뚜렷한 실패를 가릴 수 있음을 보여줍니다. CCRV-Bench는 통제된 제약 조건에서 이미지 기반 인과 추론을 진단하기 위한 표준화된 프레임워크를 제공합니다. 코드는 https://github.com/0815linyuan/CCRVBench 에서 확인할 수 있습니다.
공허한 약속: 에이전트가 이행할 수 없는 약속을 할 때
Empty Commitments: When Agents Promise What They Cannot Deliver
"내일 알려드리겠습니다"라고 말하는 챗봇은 사용자가 다시 메시지를 작성하기 전까지는 실행되지 않습니다. 우리는 이러한 약속을 공허한 약속(empty commitment)이라 부릅니다. 이는 현재 턴 이후의 행동에 대한 약속이지만, 에이전트의 도구나 런타임 환경에 이를 실행할 수 있는 수단이 전혀 없는 경우를 의미합니다. 깨진 약속과 달리 공허함은 발화 순간 에이전트의 구성(configuration)에 따라 결정되므로, 배포 전이나 런타임 시 단일 턴만으로도 감지할 수 있습니다. 본 연구에서는 약속 의미론(commitment semantics)을 기반으로 공허한 약속을 정의하고, 세 가지 실패 유형, 도구를 통해 실현될 수 있는 약속에 대한 앵커링 조건, 그리고 이러한 실패를 정직한 보류(honest deferral) 및 과도한 거부(over-refusal)와 구분하는 결과 분류 체계를 제시합니다. 우리는 400개의 인간 레이블로 검증된 체커(환경 미인지 감지기, 결정론적 실행 가능성 규칙, 응답 판정기)를 구축했습니다. 지속성 어포던스(persistence affordance)를 하나씩 추가하는 5가지 설정에 걸쳐 293개의 후속 요청으로 구성된 통제된 벤치마크에서, 8-14B 파라미터의 4개 오픈 가중치(open-weight) 모델은 도구가 존재하지 않고 아무것도 명시되지 않았을 때 응답의 45.9%에서 실패했습니다. 프론티어 모델은 4.4%의 실패율을 기록했으나, 이는 보유한 도구를 사용해서가 아니라 보류하고 되물음으로써 달성한 수치였습니다. 즉, 실행을 위한 도구 호출 없이 행해지는 약속은 모든 모델에 여전히 남아 있었습니다. 가장 저렴한 해결책인 모델에게 런타임 정보를 알려주는 방식은 아무것도 수행할 수 없는 환경에서 오픈 가중치 모델의 실패를 거의 절반으로 줄였으나, 스케줄러가 존재하는 환경에서는 아무런 변화를 주지 못했습니다. 지시적 역량 카드(directive capability card)는 과도한 거부라는 가장 큰 대가를 치르면서 대부분의 실패를 제거했으며, 루프 내에서 체커를 실행하고 플래그가 지정된 응답을 다시 작성하는 방식은 더 적은 비용으로 더 많은 실패를 제거했습니다. 코드, 프롬프트, 모델 출력 및 인간 레이블이 공개됩니다.
인용이 오도할 때? 법률 환각 탐지를 위한 주장 수준의 벤치마크
When Citations Mislead? A Claim-Level Benchmark for Legal Hallucination Detection
대규모 언어 모델(LLM)이 법률 연구 및 문서 작성에 점차 많이 활용되고 있으나, 인용된 출처의 뒷받침 없이도 그럴듯하게 들리는 주장을 여전히 생성할 수 있습니다. 본 연구에서는 법률적 주장이 근거 권위(underlying authority)에 의해 뒷받침되는지 검증하기 위한 벤치마크인 PARCEL을 소개합니다. 최근 뉴욕주 항소법원 판결을 활용하여 뒷받침됨(Supported), 반박됨(Refuted), 또는 발견되지 않음(Not Found)으로 라벨링된 3,396개의 괄호형(parenthetical-style) 주장 데이터셋을 구축합니다. 본 연구는 이 과제를 삼항 자연어 추론 문제로 설정하고, 제로샷(zero-shot) 환경에서 여러 최신 LLM을 평가합니다. 가장 우수한 모델은 최대 0.97의 정확도에 도달하지만, 전체 판결문 텍스트가 제공되는 경우에도 모델이 뒷받침되지 않는 주장을 뒷받침되는 것으로 잘못 표시하는 중요한 취약점 또한 결과에서 드러납니다. 모든 모델에 걸쳐 근거의 부재를 탐지하는 것이 직접적인 모순을 탐지하는 것보다 어려우며, 위조되었으나 그럴듯한 인용이 가장 큰 성능 저하를 유발합니다. 전반적으로 PARCEL은 법률 RAG 시스템에서 주장 수준의 그라운딩(groundedness)을 테스트하기 위한 실용적인 벤치마크를 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.