VisionQ: 컴퓨터 비전의 정성적 분석을 위한 VLM-as-a-Judge 분류 체계, 데이터셋 및 벤치마크
VisionQ: VLM-as-a-Judge Taxonomy, Dataset and Benchmark for Qualitative Analysis in Computer Vision
정성적 비교 그림은 컴퓨터 비전(CV) 논문의 핵심적인 증거이며, 이를 평가하기 위해 비전-언어 모델(VLM)이 점점 더 많이 사용되고 있습니다. 그러나 기존 벤치마크는 스칼라 품질 점수나 전반적인 선호도만을 평가하므로, 평가 모델이 잘못된 시각적 이유로 선호되는 이미지를 선택하더라도 보상을 받을 수 있습니다. 우리는 모든 판단을 명시된 시각적 기준에 그라운딩(grounding)하는 피어 리뷰된 CV 비교 그림으로 구축된 최초의 벤치마크인 VisionQ를 소개합니다. 각 질문은 기준을 명시하며, 저자가 해당 기준에서 최고라고 밝힌 출력을 선택할 때만 평가 모델이 정답으로 인정받습니다. 우리는 이 태스크를 기준 조건부 시각적 구별(criterion-conditioned visual discrimination)이라고 명명합니다. VisionQ는 다음 네 가지로 구성됩니다: (1) 1,800개 이상의 검증된 비교 그림과 방법별 크롭 이미지를 저자가 명시한 시각적 주장과 연결하는 3,911개의 수동 주석 데이터 포인트를 포함하는 1,409편의 CVPR 및 ICCV 논문 코퍼스; (2) 정성적 판단 이면의 시각적 기준을 다루는 6개 축, 51개 리프(leaf) 분류 체계; (3) 방법 이름, 캡션, 논문 신원을 숨기고 기준별 정확도를 보고하는 기준 조건부 평가 프로토콜; (4) 대칭적 증거 쌍으로 학습(training)되어 미공개 테스트셋에서 마지막 옵션 예측을 7.0%p 낮추고 정확도를 2.5%p 향상시킨 DPO 튜닝된 Gemma-4-E4B 평가 모델인 VisionQ-Judge. 20개의 오픈소스 및 상용 VLM 평가 모델을 평가한 결과, 가장 우수한 모델도 63.1%의 정확도(우연 확률 32.2%)에 불과했으며 기준에 따라 신뢰도가 크게 달라짐을 확인했습니다. 코드: https://github.com/ReML-AI/visionq. 데이터: https://huggingface.co/datasets/visionq-anon-2026/VisionQ-1k.