arXiv:2610.00666v1 cs.CV

VisionQ: 컴퓨터 비전의 정성적 분석을 위한 VLM-as-a-Judge 분류 체계, 데이터셋 및 벤치마크

VisionQ: VLM-as-a-Judge Taxonomy, Dataset and Benchmark for Qualitative Analysis in Computer Vision

Vu Dinh Xuan, Duc-Hai Nguyen, Minh-Dung Dao, Vu Quynh Giao, Quang Hong Nguyen, Binh-Son Hua, Barry O'Sullivan, David Murphy, Hoang D. Nguyen

제출 2026-09-30

저자 비고

arXiv Comments

29 pages, 18 figures, 6 tables. Code: https://github.com/ReML-AI/visionq

한국어 초록

정성적 비교 그림은 컴퓨터 비전(CV) 논문의 핵심적인 증거이며, 이를 평가하기 위해 비전-언어 모델(VLM)이 점점 더 많이 사용되고 있습니다. 그러나 기존 벤치마크는 스칼라 품질 점수나 전반적인 선호도만을 평가하므로, 평가 모델이 잘못된 시각적 이유로 선호되는 이미지를 선택하더라도 보상을 받을 수 있습니다. 우리는 모든 판단을 명시된 시각적 기준에 그라운딩(grounding)하는 피어 리뷰된 CV 비교 그림으로 구축된 최초의 벤치마크인 VisionQ를 소개합니다. 각 질문은 기준을 명시하며, 저자가 해당 기준에서 최고라고 밝힌 출력을 선택할 때만 평가 모델이 정답으로 인정받습니다. 우리는 이 태스크를 기준 조건부 시각적 구별(criterion-conditioned visual discrimination)이라고 명명합니다. VisionQ는 다음 네 가지로 구성됩니다: (1) 1,800개 이상의 검증된 비교 그림과 방법별 크롭 이미지를 저자가 명시한 시각적 주장과 연결하는 3,911개의 수동 주석 데이터 포인트를 포함하는 1,409편의 CVPR 및 ICCV 논문 코퍼스; (2) 정성적 판단 이면의 시각적 기준을 다루는 6개 축, 51개 리프(leaf) 분류 체계; (3) 방법 이름, 캡션, 논문 신원을 숨기고 기준별 정확도를 보고하는 기준 조건부 평가 프로토콜; (4) 대칭적 증거 쌍으로 학습(training)되어 미공개 테스트셋에서 마지막 옵션 예측을 7.0%p 낮추고 정확도를 2.5%p 향상시킨 DPO 튜닝된 Gemma-4-E4B 평가 모델인 VisionQ-Judge. 20개의 오픈소스 및 상용 VLM 평가 모델을 평가한 결과, 가장 우수한 모델도 63.1%의 정확도(우연 확률 32.2%)에 불과했으며 기준에 따라 신뢰도가 크게 달라짐을 확인했습니다. 코드: https://github.com/ReML-AI/visionq. 데이터: https://huggingface.co/datasets/visionq-anon-2026/VisionQ-1k.

원문 초록

Qualitative comparison figures are central evidence in computer vision papers, and vision-language models (VLMs) are increasingly used to judge them. Yet existing benchmarks score only scalar quality or overall preference, so a judge can be rewarded for picking the preferred image for the wrong visual reason. We introduce VisionQ, the first benchmark built from peer-reviewed CV comparison figures that grounds every judgment in a named visual criterion: each question states the criterion, and a judge is credited only when it selects the output the authors identify as best on that criterion. We call this task criterion-conditioned visual discrimination. VisionQ comprises (1) a corpus of 1,409 CVPR and ICCV papers with 1,800+ validated comparison figures and 3,911 hand-annotated data points linking method crops to author-stated visual claims; (2) a six-axis, 51-leaf taxonomy of the visual criteria behind qualitative judgment; (3) a criterion-conditioned evaluation protocol that hides method names, captions, and paper identity and reports accuracy per criterion; and (4) VisionQ-Judge, a DPO-tuned Gemma-4-E4B judge trained on symmetric evidence pairs, which reduces last-option predictions by 7.0pp and improves accuracy by 2.5pp on a held-out test set. Evaluating 20 open- and closed-source VLM judges, we find that the strongest reach only 63.1% accuracy (chance 32.2%) and that reliability varies sharply across criteria. Code: https://github.com/ReML-AI/visionq. Data: https://huggingface.co/datasets/visionq-anon-2026/VisionQ-1k.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00666v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03025v2cs.AI공통 태그 Benchmarking, preference learning

선호도의 검증 가능성, 표현 가능성, 그리고 암묵적 구성요소

Verifiable, Articulable, and Tacit Components of Preference

단편 소설을 흥미진진하게 만들거나, 뉴스 기사를 보도 가치 있게 만들거나, 수학적 증명을 우아하게 만드는 것은 무엇일까요? 이러한 개념들은 명시적인 표현(articulation)이나 검증(verification)에 저항하며, 그 의미는 최소한 부분적으로는 암묵적(tacit)입니다. 그러나 현대의 AI 모델(model)들은 주로 명시적으로 표현된 원칙(constitution), 채점 기준표(rubric), 검증기(verifier)를 통해 개선되며(예: RLAIF 및 RLVR), 선호도의 암묵적 구성요소는 대체로 충분히 연구되지 않았습니다. 본 연구에서는 7개 창의적 영역에 걸쳐 3억 1,700만 개의 인간 선호도 판단으로 라벨링된 280만 개의 텍스트와 42개 벤치마크(benchmark) 과제를 포함하는 대규모 라벨링 선호도 데이터셋(dataset) CreativePreferences를 소개합니다. 우리는 이러한 라벨을 실행 가능한 프로그램, 루브릭 뱅크, 조밀하게 학습된 모델(각각 V, A, VAT)로 모델링합니다. 그 결과 견고한 표현 가능성 격차(VAT-VA)와 검증 가능성 격차(VAT-V)를 관찰했습니다. 또한 표현 가능하고 검증 가능한 지표를 발견하고, 허위 변수를 식별하며, 포획-재포획(capture-recapture) 방식을 통해 미발견 지표의 가치를 추정하는 새로운 측정 접근법으로 각 격차의 상한 및 하한을 추정합니다. 이러한 격차는 모든 영역에서 발생하며, 전통적으로 완전히 검증 가능한 것으로 취급되던 영역(예: 수학 및 소프트웨어 공학과 같은 정확성 중심 영역, 뉴스, 특허, 동료 평가와 같은 주장 및 신규성 중심 영역)에서도 나타납니다. 격차의 크기는 도메인에 따라 달라지며(예: 동료 평가 및 창작 글쓰기가 가장 큰 표현 가능성 격차를 보임), 콜린스(Collins)의 집단적 암묵지(collective tacit knowledge)와 일치하게 판단에 참여하는 사람이 많아질수록 격차가 넓어집니다. 우리는 두 가지 결과를 제시합니다: (1) 인간 생성물에 대해 전체 모델이 명시된 기준과 종종 불일치하면서도 인간 선호도와 더 밀접하게 일치하며, (2) 굿하트의 법칙(Goodhart's law)과의 비유처럼 선호도를 명시적으로 표현하는 행위 자체가 선호도를 암묵적 차원으로부터 벗어나게 만듭니다. 표현 가능성 및 검증 가능성 격차는 중대한 영향을 미칩니다. 우리는 어떤 과제를 프롬프트로 처리할 수 있는지, 학습(learning) 메커니즘을 어떻게 개선할 수 있는지, 그리고 언제 판단을 인간에게 맡겨야 하는지에 대한 권장 사항을 제시합니다.

arXiv:2610.00224v2cs.AI공통 태그 Benchmarking

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2610.02946v2cs.CV공통 태그 Benchmarking

아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토

When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation

복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.