arXiv:2610.01670v1 cs.CV

MLLM 판별 모델은 편집 자체를 평가하는가? 검증된 품질 보존을 통한 이미지 편집 평가의 바이어스 감사

Do MLLM Judges Judge the Edit? Auditing Bias in Image Editing Evaluation with Verified Quality Preservation

Yuan Huang, Zirui Song, Xiuying Chen

제출 2026-10-01

저자 비고

arXiv Comments

30 pages, 9 figures

한국어 초록

멀티모달 대규모 언어 모델(MLLM)은 지시 기반 이미지 편집의 자동화된 판별 모델 및 모델 학습(training)을 위한 보상(reward) 신호로 점점 더 널리 사용되고 있습니다. 그러나 시각적 개입 자체가 평가 대상인 품질을 변화시킬 수 있기 때문에, 이러한 판별 모델들이 편집 품질과 무관한 단서에 영향을 받는지 체계적으로 감사하는 것은 어렵습니다. 따라서 판별의 변화는 개입이 근본적인 편집 품질을 보존하는 것으로 검증된 경우에만 바이어스(bias)에 기인한 것으로 볼 수 있습니다. 이러한 문제를 해결하기 위해, 검증된 품질 보존 기능을 갖춘 반사실적 벤치마크(benchmark)인 EditJudgeBias를 제안합니다. 이 벤치마크는 1,196개의 실제 편집 샘플과 4개의 평가 영역에 걸쳐 주입된 13개의 단서로 구성됩니다. 보정된 멀티모달 검증기, 대조군 및 인간 검수를 통해 요청된 편집에 대한 품질 보존을 검증합니다. 그런 다음 품질 보존 단서에 대한 불변성, 인간 판별과의 일치도, 쌍별 선호도의 안정성이라는 세 가지 상호보완적 차원에 걸쳐 5개의 MLLM 판별 모델을 감사합니다. 중요한 점은, 관찰된 변화를 0이 아닌 각 판별 모델 자체의 제로 도즈(zero-dose) 및 재질의 노이즈 플로어(noise floor)를 기준으로 평가한다는 것입니다. 실험 결과, 품질을 보존하는 단서가 모든 판별 모델을 자체 노이즈 수준 이상으로 변화시키는 것으로 나타났습니다. 조작된 다수 의견은 평가 점수를 높이고, 무관한 시각적 요소는 전체 이미지 조작보다 더 큰 변화를 유발하며, 후보 순서를 바꾸면 쌍별 결정의 최대 60.9%가 뒤바뀝니다. 또한 편집 영역 단서는 인간과의 일치도를 낮추는 경향이 있습니다. 이 세 가지 척도는 판별 모델의 특성을 서로 다르게 나타내며, 견고성이 단일 지표만으로는 포착될 수 없음을 보여줍니다.

원문 초록

Multimodal large language models (MLLMs) are increasingly used as automated judges for instruction-based image editing and as reward signals for model training. However, systematically auditing whether these judges are influenced by cues irrelevant to editing quality is challenging because visual interventions may themselves alter the quality being evaluated. A judgment shift can therefore be attributed to bias only when the intervention is verified to preserve the underlying editing quality. To address this challenge, we introduce EditJudgeBias, a counterfactual benchmark with verified quality preservation, comprising 1,196 real editing samples and 13 cues injected across four evaluation sites. We verify quality preservation for the requested edit using calibrated multimodal validators, controls, and human inspection. We then audit five MLLM judges along three complementary dimensions: invariance to quality-preserving cues, agreement with human judgments, and stability of pairwise preferences. Importantly, observed shifts are evaluated against each judge's own zero-dose and re-query noise floors rather than against zero. Experiments show that quality-preserving cues move every judge beyond its own noise. Fabricated majority opinions increase ratings, irrelevant visual elements cause larger shifts than whole-image manipulations, and swapping candidate order reverses up to 60.9% of pairwise decisions. Edit-region cues also tend to reduce human agreement. The three measures characterize judges differently, showing that robustness cannot be captured by a single metric.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01670v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00111v1cs.CV공통 태그 Benchmarking, counterfactual, llm-as-judge

낮은 그라운딩 점수가 비근거적 심판관을 의미하지는 않는다: 멀티모달 감독에서의 지각 가능성 교란 요인 식별

A Low Grounding Score Is Not an Ungrounded Judge: Identifying the Perceptibility Confound in Multimodal Oversight

모델 심판관(judge)은 이제 대규모로 멀티모달 시스템을 감독하며, 학습 데이터를 필터링하고, 출력을 선택하고, 멀티모달 추론 모델을 형성하는 보상을 제공한다. 심판관을 신뢰한다는 것은 먼저 그것이 자신의 근거(evidence)를 실제로 사용하는지 확인하는 것을 의미하며, 이 검증 자체도 면밀히 검토할 가치가 있다. 따라서 우리는 시각적 그라운딩(visual grounding)에 대한 반사실적(counterfactual) 프로브가 주장하는 바를 실제로 측정하는지 질문한다. 이 프로브는 정답(ground truth)이 뒤바뀌도록 이미지를 편집하고, 추론 과정(reasoning trace)은 고정한 채, 판정(verdict)이 그에 따라 바뀌는지를 묻는다. 우리는 이를 판정 그라운딩 점수(Verdict Grounding Score)로 공식화하고, 이 점수가 일반적으로 해석되는 방식대로 해석될 수 없음을 보인다. 판정은 심판관의 의사결정과 관련된 해석(reading)에 도달하는 편집에만 반응하므로, 이 점수는 편집의 지각 가능성(perceptibility)에 의해 상한이 정해진다. 그리고 편집이 속성(attribute)을 더 읽기 쉽게 만들지 않는 한, 오차는 한쪽으로 편향되어(one-sided) 있다: 이 점수는 심판관을 실제보다 덜 근거한(grounded) 것처럼 보이게 만들 수만 있다. 따라서 실제로 발생하는 실패는 오경보(false alarm)이며, 이는 감사자(auditor)가 사용 가능한 감독자(overseer)를 폐기하게 만든다. 우리가 명시하는 가정 하에서, 이 누락된 값(missing quantity)이 단순히 상한만 정해지는 것이 아니라 동일한 감사 프로토콜(audit protocol)이 이미 수집하는 세 가지 값으로부터 식별 가능(identified)함을 보이며, 이를 통해 오경보율(false-alarm rate)이 단순한 우려 사항이 아니라 직접 측정 가능한 값이 된다. 아홉 개의 심판관을 감사한 결과, 우리의 전체 주요 풀(primary pool)에서 예측된 순서(ordering)가 엄격하게 성립함을 확인했으며, 그곳의 일반적인 심판관은 자신이 원래 해결할 수 있는 속성을 가진 편집 중 약 절반에만 반응했다. 보수적인 기각 임계값(rejection threshold)을 적용하면 여러 셀(cell)이 명백한 오경보로 확정(certify)되는데, 가장 명확한 사례는 주입된 오류를 거의 매번 탐지하면서도 마치 이미지를 전혀 사용하지 않은 것처럼 점수가 매겨지는 심판관이다. 이로부터 도출되는 규칙은 이미지 측(image-side) 반사실적 점수를 절대 단독으로 보고해서는 안 된다는 것이다. 편집되지 않은 이미지에 대한 탐지 프로브(detection probe)가 그 점수의 상한을 정하고, 오경보를 확정하며, 추가 실행 비용이 전혀 들지 않는다.

arXiv:2610.13516v1cs.RO공통 태그 Benchmarking, counterfactual

RESCUE: 이 알람은 대응할 가치가 있는가? VLA 런타임 모니터의 반사실적 평가

RESCUE: Is This Alarm Worth Acting On? Counterfactual Evaluation of VLA Runtime Monitors

로봇 정책(policy)에 대한 런타임 실패 모니터는 일반적으로 실패한 실행과 성공한 실행을 얼마나 정확하게 구분하는지로 평가된다. 그러나 정확한 알람도 복구하기에는 너무 늦게 도착할 수 있으며, 불필요한 개입(intervention)은 그렇지 않았다면 성공했을 실행을 방해할 수 있다. 우리는 모니터의 알람이 유용한 개입을 가능하게 하는지 평가하기 위한 반사실적(counterfactual) 프레임워크인 RESCUE를 소개한다. 실행 체크포인트에서 시뮬레이터와 정책 상태를 복원함으로써, RESCUE는 대안적 행동을 비교하고 지정된 복구 기준을 만족하는 가장 마지막 체크포인트를 식별하며, 알람에 따라 행동하는 것이 예상 작업 완료 비용을 줄이는지를 평가한다. 우리는 LIBERO-Spatial과 LIBERO-Plus에서 OpenVLA-OFT와 $π_{0.5}$를 사용하여 128,340개의 반사실적 분기로 RESCUE를 평가한다. 복구 가능성은 로봇 상태만이 아니라 상태-개입 쌍에 의존한다: $τ=0.5$에서 OpenVLA-OFT/LIBERO-Plus 실패 66건 중 14건은 계속(continuation) 조건에서 복구 가능한 체크포인트를 포함하는 반면, 계속 또는 스크립트 기반 복구 조건에서는 66건 중 34건이 그러하며, 다른 조건에서는 복구가 오히려 복구 가능성을 감소시킨다. 주요 강한 정책 조건에서는 우수한 탐지 점수가 더 낮은 개입 비용을 보장하지 않는다. 평가된 정지 후 재설정 모델 하에서는, 이상적인 탐지기조차도 불필요한 재설정으로 인한 비용이 실패를 조기에 멈춤으로써 얻는 절감 효과를 상회하기 전까지 2.0~3.3%의 오탐 비율만을 감당할 수 있다. 이러한 결과는 모니터의 가치가 사용 가능한 개입과 그것이 배치되는 작업 부하에 공동으로 의존한다는 것을 보여준다.

arXiv:2609.39578v2cs.CL공통 태그 Benchmarking, counterfactual

틀에서 벗어난 사고: 언어 모델은 외부 지침에 선택적으로 의존할 수 있는가?

Thinking Outside the Box: Can Language Models Rely on External Guidance Selectively?

에이전트 하네스(agent harness)는 사람이 설계한 워크플로우를 통해 언어 모델을 개선하는 경우가 많지만, 모델의 능력이 향상됨에 따라 신뢰할 수 없는 지침은 오히려 모델의 실행을 제약할 수 있습니다. 본 연구에서는 유용한 지침을 활용하는 동시에 신뢰할 수 없는 지침은 기각하는 능력을 '틀에서 벗어난 사고(thinking outside the box)'라고 부릅니다. 저자들은 모델이 지침에 대한 의존도를 어떻게 조절하는지 분리해 파악하기 위해, 모델과 작업을 고정한 채 워크플로우의 신뢰도를 다양하게 변화시키는 Box$^2$-Bench를 도입합니다. Box$^2$-Bench에서 프론티어 모델들은 신뢰할 수 있는 지침으로부터 이점을 얻는 경우가 많지만, 지침이 오도하거나 신뢰할 수 없게 될 때는 여전히 취약한 상태로 남아 있습니다. 이러한 능력을 학습할 수 있는지 검증하기 위해, 평가를 위해 우수한 워크플로우는 남겨두고 불량한 워크플로우를 사용하여 두 개의 오픈 가중치(open-weight) 모델을 학습시킵니다. 또한 두 가지 상호 보완적인 학습 전략을 탐색합니다. 반사실적 지도 미세조정(counterfactual supervised fine-tuning)은 강건성을 향상시키는 반면, 결과 기반 강화학습(outcome-based reinforcement learning)은 도움이 되는 워크플로우를 더 적극적으로 활용하도록 균형을 이동시킬 수 있습니다. 나아가 이러한 동작이 워크플로우를 넘어 다른 형태의 외부 정보로도 확장되어 동료 수정(peer correction) 능력을 향상시키고 오염된 메모리에 대한 강건성을 높임을 확인했습니다. 종합적으로, 본 연구 결과는 오류 가능성이 있는 외부 정보에 대한 선택적 의존이 작업 수행 성능만으로는 포착되지 않는 에이전트 신뢰성의 중요한 한 차원임을 밝혀냅니다.

arXiv:2610.06591v2cs.AI공통 태그 Benchmarking, counterfactual

심사 로또: 동료 평가 노이즈에 대한 관측 기반 추정기 벤치마킹 (ICLR 2017-2025)

The Review Lottery: Benchmarking an Observational Estimator of Peer-Review Noise (ICLR 2017-2025)

동일한 논문을 다른 심사위원단이 평가한다면 학술대회 채택/탈락 결정은 얼마나 달라질까요? 두 번째 독립적인 프로그램 위원회를 운영하는 것이 이에 답하기 위한 최적의 표준(gold standard)이지만, 이는 비용이 과도하게 많이 들어 단 두 번(NeurIPS 2014 및 2021)만 진행되었습니다. 본 연구에서는 공개 심사 데이터만을 활용하여 이 수치에 대한 관측 기반 추정기를 구축하고, 두 차례 캘리브레이션을 거친 뒤 9년간의 ICLR(2017-2025; 논문 36,113편, 리뷰 134,912건) 데이터에 적용합니다. 이 추정기는 베이즈 순서화 프로빗 모델(Bayesian ordered-probit model)을 통해 점수를 논문 품질과 심사위원 노이즈로 분해하고, 로지스틱 모델로 점수를 최종 결정에 매핑하며, 두 개의 독립적인 위원회를 시뮬레이션합니다(사후 표본 추출 B=1,000; 위원회 크기 k=2,3,4). 추정된 불일치율은 k=2일 때 23-30%, k=4일 때 18-24%이며, 채택된 논문의 30-50%는 탈락될 수 있는 것으로 나타났습니다. 외부 캘리브레이션 결과, NeurIPS 2021 심사위원 수 기준(k=3)에서 시뮬레이션된 2021년 불일치율은 23.3% [21.7%, 25.0%]로 보고된 23.0%와 유사했습니다(바이어스 +0.3%p). 채택 정밀도와 위원회 간 상관관계 또한 각각 5%p 및 0.04 이내로 일치했습니다. 내부 캘리브레이션에서는 4개 이상의 리뷰가 있는 18,740편의 논문에 대해 모델을 배제한 무작위 2+2 심사위원 분할 결과가 2018년 및 2021-2025년의 k=2 시뮬레이션과 1%p 이내로 일치함을 확인했습니다. 시계열 분석상 2017-2025년 동안 심사위원 노이즈에서 뚜렷한 시간적 추세는 발견되지 않았습니다. 2020년과 2021년의 높은 채택 논문 번복률은 서로 다른 메커니즘을 가집니다. 2020년의 4점 척도는 점수를 압축시켰으며(논문의 23.7%가 논문 내 분산 0을 기록), 반사실적 분석에 따르면 척도를 단순화할 경우 불일치가 약 7%p 증가하는 것으로 나타났습니다. 반면 2021년은 표본 내 최저 신호 대 잡음비(SNR)와 임계값 부근에 가장 밀집된 채택 분포가 결합된 결과였습니다. 대규모 언어 모델(LLM) 시대와 관련하여, 논문 내 점수 분산에 대한 2023년 구조 변화 검정(breakpoint test)에서는 변화가 발견되지 않았으나, 해당 설계는 검정력이 거의 없으며 2022년 이후의 리뷰 텍스트나 확신도(confidence) 데이터가 존재하지 않아 LLM으로 인한 영향 귀인은 시도하지 않았습니다.

arXiv:2610.02492v1cs.AI공통 태그 Benchmarking, llm-as-judge

올바른 순서, 잘못된 척도: 직업적 AI 측정을 위한 LLM 심사관 감사

Right Order, Wrong Scale: Auditing LLM Judges for Occupational AI Measurement

AI 출력이 직무 요구사항을 충족하는지 평가하기 위해 대규모 언어 모델(LLM) 심사관이 점점 더 많이 사용되고 있으나, 응답 순위의 일치가 수용률이나 직업별 총계에 대한 일치까지 보장하지는 않습니다. 본 연구에서는 45,796건의 근로자 평가를 수집한 기존 설문조사를 바탕으로 구축된 감사 도구 모음인 O*NET-BENCH를 소개하고, 4,501건의 테스트 평가를 대상으로 6개 모델 패밀리에 걸친 33개의 기존 심사관 구성을 평가합니다. 25개 구성이 0.60 이상의 동점 고려 쌍 정확도(tie-aware pair accuracy)를 달성했으나, 학습 데이터에 맞춘 응답 전용 TF-IDF 기준선 역시 가장 강력한 심사관에 거의 필적했습니다. 이러한 순서 일치에도 불구하고 심사관들은 응답의 3.0%~97.9%가 수용 가능하다고 추정하여, 직업이 일치하는 근로자들의 61.1%와 큰 차이를 보였습니다. 한 파인튜닝 계열에서는 포인트와이즈(pointwise) 채점에서 번들 퓨샷/리스트와이즈(few-shot/listwise) 프로토콜로 전환할 경우 응답 순위는 향상되었지만, 과업 및 직업 수준에서 근로자 평균과의 일치도는 감소했습니다. 이러한 역전 현상은 사전 지정된 기준에 따른 과업 및 근로자 분리 검증 분할에서도 재현되었습니다. 교차 검증된 보정은 평균 바이어스를 상당 부분 제거하지만, 보정된 점수는 개별 근로자 평가 분산의 최대 8.5%만을 설명합니다. 예측 보조 추정(prediction-assisted estimation)은 조사된 라벨 예산에서 기껏해야 미미한 정밀도 이득만을 가져옵니다. 이러한 결과는 직업적 측정을 수행하는 데 순위 일치만으로는 불충분함을 보여줍니다. 심사관은 점수를 통해 추정하고자 하는 실제 수용률 및 집계치를 기준으로 검증되어야 합니다.

arXiv:2610.02622v1cs.AI공통 태그 Benchmarking, llm-as-judge

CuBEs: 문화적 맥락을 고려한 행동 평가와 문화 불가지론적 LLM 판정자의 한계

CuBEs: Culturally-Situated Behavioral Evaluations and the Limitations of Culture-Blind LLM Judges

아첨(sycophancy), 자기 선호(self-preference), 또는 과신(over-confidence)과 같은 대규모 언어 모델(LLM)의 행동 발생 여부와 트리거를 평가하는 것은 실제 환경에서의 모델 배포 위험을 예측하는 데 매우 중요합니다. 그러나 기존의 맥락적 행동 평가는 일반적으로 문화적 맥락을 무시하므로, 점점 더 글로벌화되는 사용자층 전반에 걸친 일반화 가능성이 제한됩니다. 이러한 격차를 해소하기 위해, 다양한 사용자 문화에 걸친 응답 패턴을 탐색하는 문화적 맥락 고려 행동 평가 프레임워크인 CuBEs를 제안합니다. 먼저 자동화된 테스트 파이프라인을 확장하여 행동 테스트 시나리오와 후속 평가에 문화적 맥락을 주입합니다. 12개의 서로 다른 문화권에 걸쳐 미묘한 행동 이해 차원을 포착하는 인간 라벨링 데이터셋을 구축하여 이 파이프라인의 문화적 적응성을 평가합니다. 구축한 데이터셋은 획일적인 판정으로는 포착할 수 없는 상당한 비교문화적 차이를 보여줍니다. 13개의 오픈소스 및 폐쇄형 LLM을 평가한 결과, 평가 시나리오에 문화적 맥락성(cultural situatedness)을 도입하면 행동의 발현 양상에 상당한 차이가 발생함을 확인했습니다. 예를 들어 정치적 바이어스를 테스트하는 기준선 실험에서는 미국 내 보수-진보 간의 분열과 같이 국지화된 서구적 정치 차원만을 포착하는 반면, 비서구권의 문화적 맥락을 고려한 평가에서는 종교적 및 식민지적 정치 문제와 같은 완전히 다른 바이어스 축이 드러납니다. 이러한 연구 결과는 표준적이고 문화 불가지론적인 평가가 이러한 변화를 포착하지 못함을 보여주며, 글로벌 배포를 위해 문화적 맥락을 고려한 행동 테스트가 필수적임을 강조합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.