비전-언어 모델(VLM)의 모든 평가 실행은 이미 문항별 산출물(예측값, 채점된 정답 여부, 메타데이터)을 생성하지만, 리더보드는 이를 단일 점수로 축약한 뒤 폐기한다. 우리는 이러한 산출물을 재사용하여 벤치마크 자체를 감사하며, VLMEvalKit에 감사 층을 추가한다: 저장된 출력물에 대해 후처리 방식으로 실행되는 6개의 탐지기(detector)와, 시각 입력을 제거한 텍스트 전용 재실행 1개를 추가로 수행하여 문항별 보고서를 생성한다. 이 층은 문항별 결과와 함께 집계된 감사 통계를 보고하며, 주요 지표에 대해서는 해당하는 경우 순열-귀무(permutation-null) 초과분, 비율에 대한 구간 추정치, 그리고 모델 풀(pool)에 대한 민감도를 함께 제시한다.
이미지가 필수적이도록 특별히 선별된 벤치마크인 MMStar를 세 개의 모델로 감사한 결과, 전체 문항의 20.2%에서 이미지로 인한 집계 정확도 향상이 전혀 없음을 발견했다. 문항 매칭(item-matched) 순열 귀무 모델이 17.0%를 설명하며, +3.2퍼센트포인트의 초과분이 남는다(보정된 순열 p = 0.001). 이 초과분은 수학 및 과학 범주에 집중되어 있고 거친(coarse) 지각(perception) 범주에서는 나타나지 않는데, 이는 지식이 시각적 증거를 대체하는 것과 일치하는 국소화(localization) 양상이다; 이 메커니즘을 확인하려면 문항 단위 검토가 필요할 것이다. 두 번째 탐지기는 파싱 가능한 형태로 응답한 모든 모델이 동일한 비정답(non-gold) 선택지를 고른 134개 문항을 표시하는데, 이러한 후보 문항들은 지각 범주에서 최고치를 보이는 반면, 제로-게인(zero-gain) 초과분은 수학 및 과학·기술 범주에서 가장 크다. LLM 심사자를 정확한 문자열 매칭으로 대체해도 결론은 변하지 않으며, 두 방식 간의 모든 채점 불일치는 파서가 읽을 수 없는 자유 형식 답변을 내놓은 단 하나의 모델로 귀결된다. 이진(yes/no) 벤치마크에서는 탐지기들이 측정 가능한 수준으로 보정(calibration)을 벗어나는데, 이는 우리가 측정하고 보고하는 범위상의 한계이다. 감사 층, 예측 산출물, 그리고 생성된 보고서는 본 제출물과 함께 제공된다.
멀티모달 대규모 언어 모델(Multimodal LLM)은 언어적 사전 확률과 왜곡된 정답 분포를 활용하여 이미지를 보지 않고도 시각 중심 벤치마크의 많은 질문에 답할 수 있습니다. 블라인드 평가(Blind evaluation)는 모델이 이미 이러한 방식으로 답하는 내용을 보여주지만, 테스트 세트 자체의 규칙성으로부터 모델이 무엇을 학습할 수 있는지는 보여주지 못합니다. 부분 입력 감사(예: 자연어 추론의 가설 전용 베이스라인)를 확장하여, 본 연구는 벤치마크 설계자가 악용 가능한 패턴을 파악하기 위해 공개하는 결과물을 탐색하는 "테스트 세트로 학습"을 수행해야 한다고 주장합니다. 본 논문의 테스트 세트 스트레스 테스트(Test-set Stress-Test, TsT)는 테스트 세트의 질문과 선택지를 바탕으로 텍스트 전용 Qwen2-7B를 교차 검증하여, 벤치마크 수준의 점수와 질문별 바이어스 점수 s(x)를 도출하며, 수작업으로 설계된 특징 기반의 랜덤 포레스트를 통해 빠르고 해석 가능한 감사를 추가합니다. 템플릿 기반의 VSI-Bench 및 CV-Bench에서 홀드아웃(held-out) 점수는 모델 자체의 제로샷(zero-shot) 점수보다 각각 17.9점, 13.1점 높았습니다. 반면 MMMU에서는 GPT-4o가 이미지 없이 객관식 질문의 52.3%를 정확히 맞힘에도 불구하고 학습되는 내용이 거의 없었는데, 이는 해당 벤치마크의 블라인드 성공이 학습 가능한 테스트 세트 패턴보다는 사전학습된 지식을 반영하기 때문입니다. 반복적 바이어스 가지치기(Iterative Bias Pruning, IBP)는 s(x)가 가장 높은 질문을 제거하고 재진단하는 방식으로, VSI-Bench에서 동일한 비율의 무작위 제거에 비해 파인튜닝(fine-tuning)된 모델의 시각 블라인드 격차를 더 크게 벌립니다. 또한 본 논문은 파인튜닝된 모델의 블라인드 점수를 44.7에서 32.0으로 낮추면서 시각 점수는 57.1에서 48.7로만 하락시키는 VSI-Bench-Debiased를 공개합니다.
약한 라벨 �ench마크가 근거 개입에 실제로 민감한지 검증하기 위해 메타데이터 선별 통계 MPDS와 항목 간 근거 셔플링 기반 ΔEvi를 결합한 프로토콜 수준 감사 절차를 제안한다. 합성 HotpotQA는 MPDS가 중간(0.643)인데 ΔEvi가 0인 반례를 보여 메타데이터만으로는 부족하며, SNLI·FEVER·재구성 HotpotQA 결과는 메타데이터 선별, 근거 개입, 리더 강도 보정을 함께 보고해야 한다는 실무적 교훈을 제시한다.