멀티모달 대규모 언어 모델(MLLM)은 문서 이해(document understanding) 능력을 크게 향상시켰지만, 현재의 Doc-VQA 평가는 최종 답변만 채점하고 이를 뒷받침하는 근거(evidence)는 검증하지 않는다. 이러한 답변 전용(answer-only) 방식은 중요한 실패 유형을 숨긴다: 모델이 정답에 도달하더라도 잘못된 구절(passage)에 근거를 두는 경우가 있으며, 이는 모든 결론이 특정 소스 영역까지 추적 가능해야 하는 법률, 금융, 의료와 같은 고위험 영역에서 중대한 위험이 된다. 이를 해결하기 위해 우리는 CiteVQA를 소개한다. 이는 모델이 각 답변과 함께 요소 수준(element-level)의 바운딩 박스(bounding-box) 인용을 반환하도록 요구하고, 둘을 함께 평가하는 벤치마크이다. CiteVQA는 7개 도메인과 2개 언어에 걸친 711개의 PDF에서 추출한 1,897개의 질문으로 구성되며, 문서당 평균 40.6페이지를 포함한다. 충실도(fidelity)와 확장성(scalability)을 보장하기 위해, 정답 인용(ground-truth citation)은 마스킹 제거(masking ablation)를 통해 핵심 근거를 식별하고 다단계 품질 관리(multi-stage quality control)를 적용하는 자동화 파이프라인을 통해 생성된다. 우리 평가의 핵심은 엄격한 귀속 정확도(Strict Attributed Accuracy, SAA)로, 답변과 인용된 영역이 모두 정확한 경우에만 예측을 인정한다. 20개의 MLLM을 감사(audit)한 결과, 모델이 정답을 내면서도 잘못된 영역을 인용하는 광범위한 귀속 환각(Attribution Hallucination) 현상이 드러났다. 가장 강력한 시스템(Gemini-3.1-Pro-Preview)조차 SAA가 76.0에 불과했고, 가장 강력한 오픈소스 MLLM은 단 22.5에 그쳤다. 결론적으로, 신뢰 가능한 문서 지능을 향해 CiteVQA는 답변 전용 평가가 간과하는 신뢰성 격차(reliability gap)를 드러내며, 이를 해소하는 데 필요한 도구를 제공한다. 저장소는 https://github.com/opendatalab/CiteVQA 에서 확인할 수 있다.
대규모 언어 모델(LLM)이 대화형 어시스턴트에서 고급 에이전트(agent) 시스템으로 발전함에 따라, 가드레일(guardrail)의 실패는 적대적 의도를 유해한 실행으로 이어지게 할 수 있다. 그러나 대부분의 가드레일 평가 프레임워크는 결과에만 초점을 맞추어 사용자 요청이 안전한지 안전하지 않은지만을 평가한다. 이러한 접근은 적대적 의도가 여러 턴에 걸쳐 분산되어 있는 다중 턴 실패에는 충분하지 않다. 이에 우리는 탐지를 넘어, 대화를 안전하지 않은 궤적으로 이끄는 턴과 토큰(token)을 식별하고자 한다. 이를 뒷받침하기 위해 행동 검증(validation)과 계층적 증거 지도(tiered evidence supervision)를 갖춘 다중 턴 데이터셋을 구축한다. 이 데이터셋은 적대적 대화, 정상 쌍둥이(benign twin), 고위험 어휘를 포함한 정상 변형을 아우르는 1,762개의 대화로 구성된다. 우리는 안전 위반을 예측하고 이를 기여한 사용자 턴과 토큰 구간(span)에 귀속시키는 경량 계층적 귀속 모델을 학습한다. 이 모델은 강력한 탐지 성능(F1=0.988)을 달성하며, 귀속된 토큰 중 상위 15%를 제거하면 적대적 분류(classification) 신뢰도가 51.1% 감소한다. 또한 이 모델은 고위험 어휘를 포함한 정상 대화에서도 낮은 오탐률을 유지하여, 경계선상의 정상 대화와 정상 고위험 어휘 대화 모두에서 오탐률이 1% 미만인 반면, 키워드 기반 표면 위험 기준선(baseline)은 각각 37.3%와 94.7%를 기록했다. 독립적인 사람 주석은 이 모델의 귀속 성능을 뒷받침하며, 상위 5개 귀속 턴에 사람이 식별한 증거 포함 턴이 포함된 비율은 적대적 사례의 84.5%였다.
기사가 주장을 뒷받침하는지 평가하는 것은 환각(hallucination) 탐지와 주장 검증(claim verification)에 필수적이다. 대규모 언어 모델(LLM)은 이 작업을 자동화할 잠재력이 있지만, 강한 성능을 달성하려면 GPT-5와 같은 프론티어 모델이 필요하며, 이는 대규모 배포에는 지나치게 비용이 많이 든다. 생의학적 근거 귀속을 효율적으로 수행하기 위해, 우리는 단 30억 개의 파라미터만을 갖춘 소형 언어 모델 계열인 Med-V1을 제시한다. 본 연구에서 새롭게 개발한 고품질 합성 데이터로 학습된 Med-V1은 검증 형식으로 통합된 다섯 가지 생의학 벤치마크에서 베이스 모델 대비 (+27.0%에서 +71.3%) 상당히 우수한 성능을 보인다. 더 작은 크기에도 불구하고 Med-V1은 GPT-5와 같은 프론티어 LLM과 비슷한 수준의 성능을 내며, 예측에 대한 고품질 설명도 함께 제공한다. 우리는 Med-V1을 사용하여 서로 다른 인용 지시(citation instructions) 하에서 LLM이 생성한 답변의 환각을 정량화하는 최초의 사용 사례 연구를 수행한다. 결과는 형식 지시(format instruction)가 인용 유효성과 환각에 강하게 영향을 미치며, GPT-5가 더 많은 주장을 생성하지만 GPT-4o와 유사한 환각 비율을 보인다는 것을 보여준다. 또한 Med-V1이 임상 진료 지침에서 고위험(high-stakes) 근거 오귀속(misattributions)을 자동으로 식별할 수 있음을 보여주는 두 번째 사용 사례를 제시하며, 이는 그렇지 않으면 대규모로 식별하기 어려운 잠재적 부정적 공중 보건 영향을 드러낸다. 전반적으로 Med-V1은 실용적이고 실제 세계의 생의학적 근거 귀속을 위해 프론티어 LLM에 대한 효율적이고 정확한 경량 대안을 제공한다. Med-V1은 https://github.com/NLM-DIR/Med-V1 에서 이용할 수 있다.
신뢰할 수 있는 시각 문서 이해를 위해서는 모델이 각 답변을 이를 뒷받침하는 근거 영역에 귀속시켜야 한다. 최근 벤치마크와 시스템은 이 단계를 좌표 인터페이스를 통해 표현한다. 즉, 모델이 문서 내 근거 영역을 표시하는 바운딩 박스(bounding box)의 좌표를 출력한다. 이 인터페이스 하에서 비전-언어 모델은 답이 정확한 경우에도 종종 올바른 영역을 식별하지 못하며, 이러한 실패는 귀속 환각(Attribution Hallucination)으로 알려져 있다. 본 연구는 이러한 실패가 모델이 좌표를 통해 표현할 수 있는 것에 의해 부분적으로 제한되는지 조사한다. 검증된 이중언어 CiteVQA 부분집합에서, 좌표 인터페이스를 모델이 텍스트만 출력하고 근거를 그대로 인용하는 언어 인터페이스와 비교한다. 멀티모달 검색기(multimodal retriever)는 레이아웃 파서(layout parser)가 제안한 페이지 영역으로 각 인용문의 위치를 반환하며, 표와 그림은 캡션이나 주석을 통해 인용된다. 이 비교는 여섯 개의 공개 비전-언어 모델에 대해 반복된다. 좌표 인터페이스와 비교했을 때, 근거 재현율은 최대 8포인트에서 26~47포인트로 상승하고 환각률은 대략 절반으로 줄어들며, 답변 품질은 거의 변하지 않는다. 이 비교를 바탕으로, 동일한 인용-검색(quote-and-retrieve) 파이프라인을 학습 스캐폴드로 사용한다. 긴 문서에 대해 영역 수준의 근거 레이블을 수집하는 비용이 크기 때문에, 보상이 정답(gold answer)과 검색된 영역의 크롭(crop)에 대한 판정자(judge)의 판독으로 구성된 GRPO 레시피를 도입하여, 어떠한 영역 레이블 없이도 모델이 더 나은 근거를 인용하도록 학습하고, 8B 백본의 strict attributed accuracy를 22.4에서 33.8로 끌어올린다. 이러한 결과는 좌표 인터페이스 없이, 값비싼 영역 수준의 지도 없이도 귀속을 개선할 수 있는 실용적인 경로를 제시한다.