악용 가능한 비시각적 지름길을 드러내기 위해 벤치마크 설계자는 "테스트 세트로 학습"해야 한다
Benchmark Designers Should "Train on the Test Set" to Expose Exploitable Non-Visual Shortcuts
멀티모달 대규모 언어 모델(Multimodal LLM)은 언어적 사전 확률과 왜곡된 정답 분포를 활용하여 이미지를 보지 않고도 시각 중심 벤치마크의 많은 질문에 답할 수 있습니다. 블라인드 평가(Blind evaluation)는 모델이 이미 이러한 방식으로 답하는 내용을 보여주지만, 테스트 세트 자체의 규칙성으로부터 모델이 무엇을 학습할 수 있는지는 보여주지 못합니다. 부분 입력 감사(예: 자연어 추론의 가설 전용 베이스라인)를 확장하여, 본 연구는 벤치마크 설계자가 악용 가능한 패턴을 파악하기 위해 공개하는 결과물을 탐색하는 "테스트 세트로 학습"을 수행해야 한다고 주장합니다. 본 논문의 테스트 세트 스트레스 테스트(Test-set Stress-Test, TsT)는 테스트 세트의 질문과 선택지를 바탕으로 텍스트 전용 Qwen2-7B를 교차 검증하여, 벤치마크 수준의 점수와 질문별 바이어스 점수 s(x)를 도출하며, 수작업으로 설계된 특징 기반의 랜덤 포레스트를 통해 빠르고 해석 가능한 감사를 추가합니다. 템플릿 기반의 VSI-Bench 및 CV-Bench에서 홀드아웃(held-out) 점수는 모델 자체의 제로샷(zero-shot) 점수보다 각각 17.9점, 13.1점 높았습니다. 반면 MMMU에서는 GPT-4o가 이미지 없이 객관식 질문의 52.3%를 정확히 맞힘에도 불구하고 학습되는 내용이 거의 없었는데, 이는 해당 벤치마크의 블라인드 성공이 학습 가능한 테스트 세트 패턴보다는 사전학습된 지식을 반영하기 때문입니다. 반복적 바이어스 가지치기(Iterative Bias Pruning, IBP)는 s(x)가 가장 높은 질문을 제거하고 재진단하는 방식으로, VSI-Bench에서 동일한 비율의 무작위 제거에 비해 파인튜닝(fine-tuning)된 모델의 시각 블라인드 격차를 더 크게 벌립니다. 또한 본 논문은 파인튜닝된 모델의 블라인드 점수를 44.7에서 32.0으로 낮추면서 시각 점수는 57.1에서 48.7로만 하락시키는 VSI-Bench-Debiased를 공개합니다.