PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00111v1cs.CV

낮은 그라운딩 점수가 비근거적 심판관을 의미하지는 않는다: 멀티모달 감독에서의 지각 가능성 교란 요인 식별

A Low Grounding Score Is Not an Ungrounded Judge: Identifying the Perceptibility Confound in Multimodal Oversight

모델 심판관(judge)은 이제 대규모로 멀티모달 시스템을 감독하며, 학습 데이터를 필터링하고, 출력을 선택하고, 멀티모달 추론 모델을 형성하는 보상을 제공한다. 심판관을 신뢰한다는 것은 먼저 그것이 자신의 근거(evidence)를 실제로 사용하는지 확인하는 것을 의미하며, 이 검증 자체도 면밀히 검토할 가치가 있다. 따라서 우리는 시각적 그라운딩(visual grounding)에 대한 반사실적(counterfactual) 프로브가 주장하는 바를 실제로 측정하는지 질문한다. 이 프로브는 정답(ground truth)이 뒤바뀌도록 이미지를 편집하고, 추론 과정(reasoning trace)은 고정한 채, 판정(verdict)이 그에 따라 바뀌는지를 묻는다. 우리는 이를 판정 그라운딩 점수(Verdict Grounding Score)로 공식화하고, 이 점수가 일반적으로 해석되는 방식대로 해석될 수 없음을 보인다. 판정은 심판관의 의사결정과 관련된 해석(reading)에 도달하는 편집에만 반응하므로, 이 점수는 편집의 지각 가능성(perceptibility)에 의해 상한이 정해진다. 그리고 편집이 속성(attribute)을 더 읽기 쉽게 만들지 않는 한, 오차는 한쪽으로 편향되어(one-sided) 있다: 이 점수는 심판관을 실제보다 덜 근거한(grounded) 것처럼 보이게 만들 수만 있다. 따라서 실제로 발생하는 실패는 오경보(false alarm)이며, 이는 감사자(auditor)가 사용 가능한 감독자(overseer)를 폐기하게 만든다. 우리가 명시하는 가정 하에서, 이 누락된 값(missing quantity)이 단순히 상한만 정해지는 것이 아니라 동일한 감사 프로토콜(audit protocol)이 이미 수집하는 세 가지 값으로부터 식별 가능(identified)함을 보이며, 이를 통해 오경보율(false-alarm rate)이 단순한 우려 사항이 아니라 직접 측정 가능한 값이 된다. 아홉 개의 심판관을 감사한 결과, 우리의 전체 주요 풀(primary pool)에서 예측된 순서(ordering)가 엄격하게 성립함을 확인했으며, 그곳의 일반적인 심판관은 자신이 원래 해결할 수 있는 속성을 가진 편집 중 약 절반에만 반응했다. 보수적인 기각 임계값(rejection threshold)을 적용하면 여러 셀(cell)이 명백한 오경보로 확정(certify)되는데, 가장 명확한 사례는 주입된 오류를 거의 매번 탐지하면서도 마치 이미지를 전혀 사용하지 않은 것처럼 점수가 매겨지는 심판관이다. 이로부터 도출되는 규칙은 이미지 측(image-side) 반사실적 점수를 절대 단독으로 보고해서는 안 된다는 것이다. 편집되지 않은 이미지에 대한 탐지 프로브(detection probe)가 그 점수의 상한을 정하고, 오경보를 확정하며, 추가 실행 비용이 전혀 들지 않는다.