기존 평가 실행 결과를 활용한 VLM 벤치마크 감사
Auditing VLM Benchmarks from Existing Evaluation Runs
한국어 초록
비전-언어 모델(VLM)의 모든 평가 실행은 이미 문항별 산출물(예측값, 채점된 정답 여부, 메타데이터)을 생성하지만, 리더보드는 이를 단일 점수로 축약한 뒤 폐기한다. 우리는 이러한 산출물을 재사용하여 벤치마크 자체를 감사하며, VLMEvalKit에 감사 층을 추가한다: 저장된 출력물에 대해 후처리 방식으로 실행되는 6개의 탐지기(detector)와, 시각 입력을 제거한 텍스트 전용 재실행 1개를 추가로 수행하여 문항별 보고서를 생성한다. 이 층은 문항별 결과와 함께 집계된 감사 통계를 보고하며, 주요 지표에 대해서는 해당하는 경우 순열-귀무(permutation-null) 초과분, 비율에 대한 구간 추정치, 그리고 모델 풀(pool)에 대한 민감도를 함께 제시한다. 이미지가 필수적이도록 특별히 선별된 벤치마크인 MMStar를 세 개의 모델로 감사한 결과, 전체 문항의 20.2%에서 이미지로 인한 집계 정확도 향상이 전혀 없음을 발견했다. 문항 매칭(item-matched) 순열 귀무 모델이 17.0%를 설명하며, +3.2퍼센트포인트의 초과분이 남는다(보정된 순열 p = 0.001). 이 초과분은 수학 및 과학 범주에 집중되어 있고 거친(coarse) 지각(perception) 범주에서는 나타나지 않는데, 이는 지식이 시각적 증거를 대체하는 것과 일치하는 국소화(localization) 양상이다; 이 메커니즘을 확인하려면 문항 단위 검토가 필요할 것이다. 두 번째 탐지기는 파싱 가능한 형태로 응답한 모든 모델이 동일한 비정답(non-gold) 선택지를 고른 134개 문항을 표시하는데, 이러한 후보 문항들은 지각 범주에서 최고치를 보이는 반면, 제로-게인(zero-gain) 초과분은 수학 및 과학·기술 범주에서 가장 크다. LLM 심사자를 정확한 문자열 매칭으로 대체해도 결론은 변하지 않으며, 두 방식 간의 모든 채점 불일치는 파서가 읽을 수 없는 자유 형식 답변을 내놓은 단 하나의 모델로 귀결된다. 이진(yes/no) 벤치마크에서는 탐지기들이 측정 가능한 수준으로 보정(calibration)을 벗어나는데, 이는 우리가 측정하고 보고하는 범위상의 한계이다. 감사 층, 예측 산출물, 그리고 생성된 보고서는 본 제출물과 함께 제공된다.
원문 초록
Every evaluation run of a vision-language model (VLM) already produces per-question artifacts (predictions, judged correctness, metadata) that leaderboards reduce to a single score and then discard. We reuse those artifacts to audit the benchmark itself, and add an audit layer to VLMEvalKit: six detectors that run as post-processing over saved outputs, plus one additional text-only rerun with visual inputs removed, emitting a per-question report. The layer reports per-question findings together with aggregate audit statistics; for the headline quantities, it attaches permutation-null excess where applicable, interval estimates for proportions, and sensitivity to the model pool. Auditing MMStar, a benchmark curated specifically so that the image is indispensable, with three models, we find zero aggregate accuracy gain from the image on 20.2% of its questions. An item-matched permutation null accounts for 17.0%, leaving a +3.2 pp excess (corrected permutation p = 0.001). This excess is concentrated in the mathematics and science categories and is absent from coarse perception, a localization consistent with knowledge substituting for visual evidence; confirming that mechanism would require item-level review. A second detector flags 134 questions on which every model that answered in parseable form picked the same non-gold option, and these candidates peak in the perception categories, whereas the zero-gain excess is largest in mathematics and science & technology. Replacing the LLM judge with exact string matching changes no conclusion, and every scoring discrepancy between the two traces to one model whose free-form answers a parser cannot read. On a binary yes/no benchmark the detectors measurably fall out of calibration, a scope boundary that we measure and report. The audit layer, the prediction artifacts and the generated reports accompany this submission.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
흉부 X선 비전-언어 모델을 위한 신뢰성 스트레스 테스트 및 결정 시점 라우팅
Reliability Stress Tests and Decision-Time Routing for Chest X-ray Vision-Language Models
의료 비전-언어 모델(VLM) 평가는 워크플로 설계, 프롬프트 전략, 벤치마크 구성에 민감하지만, 대부분의 연구는 이러한 요인들을 개별적으로 다룹니다. 본 연구에서는 두 개의 균형 잡힌 데이터셋(비공개 보고서 기반 데이터셋 및 선별된 MIMIC 서브셋)을 기반으로 구축된 흉부 X선 판독을 위한 신뢰성 스트레스 테스트를 소개합니다. 세 가지 의료 VLM(CheXagent, MedGemma-4B, MedGemma-27B)을 세 가지 프롬프트 스타일과 두 가지 워크플로(단일 VLM 및 멀티 에이전트)에 걸쳐 평가하여 총 36개의 구성을 생성했습니다. 본 연구는 정확 일치(exact-match) 정확도만으로는 기본적으로 "정상(Normal)" 예측을 내놓는 보수적인 모델의 유효성이 과장될 수 있음을 보여줍니다. 진단 신뢰성 또한 모델 계열과 규모에 크게 의존하는데, 멀티 에이전트 추론은 일부 구성에는 도움이 되지만 다른 구성에는 오히려 해가 됩니다. 이러한 관찰을 바탕으로, 유익한 경우에만 멀티 에이전트 추론으로 선택적으로 이관하여 고정된 워크플로 대비 비용-품질 트레이드오프를 개선하는 결정 시점 라우팅(decision-time routing) 프레임워크를 제안합니다. 본 연구 결과는 임상 배포 전에 프롬프트 민감도, 실패 모드의 다양성, 워크플로 선택을 종합적으로 고려하는 평가 프로토콜의 필요성을 강조합니다.
AiSearch: VLM을 활용한 대화형 멀티모달 검색
AiSearch: Interactive Multi-Modal Search with VLMs
현대의 정보 검색(retrieval) 시스템은 자동화되는 동시에 사용자가 실시간으로 결과를 검색하고 개선할 수 있는 대화형(interactive) 특성을 갖추어야 합니다. 본 논문에서는 이미지 및 비디오에 대한 자연어 검색을 위해 비전-언어 모델(VLM)의 제로샷(zero-shot) 역량을 활용하는 유연한 멀티모달 검색 프레임워크인 AiSearch를 제시합니다. AiSearch는 사용자의 의도에 맞게 결과를 맞춤화하기 위한 사용자 피드백 기반의 대화형 검색 정교화를 지원하며, 여러 VLM 전반에 걸친 시각적 벤치마킹을 지원하여 사용자가 작업에 가장 적합한 모델을 선택할 수 있도록 합니다.
증강현실에서의 지각 품질 평가 및 자율 콘텐츠 조정을 위한 비전-언어 모델 활용
Harnessing Vision-Language Models for Perceptual Quality Assessment and Autonomous Content Adjustment in Augmented Reality
증강현실(AR, augmented reality)의 발전은 계속해서 혁신적인 솔루션을 촉진하며, 교육 시스템, 의료 서비스, 위험 완화 프로토콜 내에서 새로운 방법론을 가능하게 하고 있다. 그러나 AR 헤드마운트 디스플레이(head-mounted display)가 제한된 장면 기하 구조, 공간적 지터(jitter), 시간적 불안정성과 씨름하는 탓에, 최종 사용자의 몰입감과 편안함을 최적화하는 것은 여전히 어려운 과제로 남아 있다. 사용자 연구(user study)는 시각적 품질에 대한 표준적인 AR 평가 방법이지만, 그 비용과 확장성 저하, 경직성은 반복적인 애플리케이션 설계 과정에서 병목으로 작용한다. 이 문제를 해결하기 위해, 우리는 비전-언어 모델(VLM, vision-language model)을 기반으로 하여 사용자가 지각하는 AR 장면의 시각적 충실도를 평가하고 예측하는, AR 콘텐츠 평가 및 개선을 위한 자동화된 프레임워크를 제시한다. 먼저, 우리는 다양한 장면과 환경 조건에서 수집된 AR 이미지 및 비디오 벤치마크(benchmark)인 RateAR을 소개하며, 이는 객체 배치, 크기(scale), 그림자 일관성을 포함한 지각적 요인들에서 양호~우수한 신뢰도(ICC(2,5) >= .90)를 보인다. 이어서, 우리는 구축한 벤치마크에서 11개의 상용 VLM을 평가한다. 결과는 VLM 기반 품질 예측이 인간의 주관적 판단과 강한 상관관계를 가지며, 최대 0.8695의 스피어만 순위 상관계수(Spearman's rank-order correlation)를 달성함을 뒷받침한다. 추가적인 제거 연구(ablation study)는 다른 프롬프팅 전략들과 비교할 때, 우리의 맥락적 프롬프팅(contextual prompting)이 도입된 복잡성 단서를 균형 있게 조절하면서도 인간 평가와 더 나은 정합성을 보임을 시사한다. 이러한 결과를 바탕으로, 우리는 자동화된 AR 콘텐츠 조정 시스템을 구축하고 21명의 참가자를 대상으로 사용자 연구를 수행한다. 참가자의 90% 이상이 이 시스템이 가상 콘텐츠의 배치 및 크기 일관성을 개선했다고 평가했다.
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
When Watermarks Turn Adversarial: Exposing Vulnerabilities in Document Understanding
아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토
When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation
복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
11 pages, 5 figures. Accepted at the NeurIPS 2026 Workshop TAE (Trust-AI-Eval): Can We Trust AI Evaluation? (non-archival). Code and artifacts: https://github.com/avos-rnd/vlm-bench