어느 것인지 묻고, 얼마나 좋은지는 묻지 말 것: LLM 채점 벤치마크의 표본 크기
Ask Which, Not How Good: Sizing Benchmarks Scored by an LLM
LLM 심사자(judge)가 채점하는 벤치마크는 흔히 0.1점 차이를 가리지만, 그 벤치마크의 분辨력(resolution)은 측정된 적이 없다. 기존 표본 복잡도(sample-complexity) 연구는 정확도 벤치마크를 다루며, 심사 기반 경우는 열어 두었다. 측정 대상을 시스템으로 두고, 일반화가능성 이론(generalizability theory)을 사용해 373,019건의 판정을 시스템, 문항(item), 심사자, 상호작용 성분으로 분해한다. 핵심 결과는 구조적이다: 단일 심사자 하에서 일반화가능성은 문항 수와 관계없이 σ²_s/(σ²_s+σ²_sj)에 점근하며, 이는 시스템×심사자 항에 n_i가 없기 때문이다. 문항은 포화(saturate)하지만 심사자는 그렇지 않다. 목표가 그 상한에 가까워질수록 목표 달성에 필요한 문항 비용은 발산한다. 그 상한은 LLM 심사가 아니라 점수制 루브릭 채점(pointwise rubric scoring)의 속성이다. 양쪽 제시 순서 모두에서 쌍wise 선호(pairwise preference)로 실행하면 σ²_sj는 σ²_s보다 두 자릿수 작아지고 상한은 0.986으로 올라가며(bootstrap [0.934, 1.000], 11개 시스템), 따라서 심사자 한 명으로 충분하다. 쌍wise 방식은 다른 문제를 산다: 먼저 제시된 시스템이 동일 시스템이 나중에 제시될 때보다 8.6 percentage points 더 자주 승리하며, 이 바이어스는 우리가 수집한 53개 공개 win-rate 비교에서 주장된 중앙 개선의 1.23배이다. 프로토콜 설계가 패널 크기를 지배한다. 측정된 바닥(floor)은 기본 문항 수에서 0–5 척도상 0.41–1.24점이며, 보고된 중앙 개선 0.28점과 대비된다; 정확히 대응 비교가 가능할 만큼 자주 반복되는 유일한 벤치마크에서, 수집한 17개 MT-Bench 개선은 모두 MT-Bench 자체 바닥 아래이고, win-rate 주장의 70%는 쌍wise 바닥 아래이다. 628편의 arXiv 논문 감사(두 독립 모델의 이중 코딩, 블라인드 인간 코딩 대비 검증 kappa=0.73) 결과, 4편 중 1편 미만만 평가를 한 번 이상 실행했는지 명시하며, 46–67%만 어떤 형태로든 불확실성을 보고한다.