arXiv:2609.27787v1 cs.AI

어느 것인지 묻고, 얼마나 좋은지는 묻지 말 것: LLM 채점 벤치마크의 표본 크기

Ask Which, Not How Good: Sizing Benchmarks Scored by an LLM

Atul Anand

제출 2026-09-24

한국어 초록

LLM 심사자(judge)가 채점하는 벤치마크는 흔히 0.1점 차이를 가리지만, 그 벤치마크의 분辨력(resolution)은 측정된 적이 없다. 기존 표본 복잡도(sample-complexity) 연구는 정확도 벤치마크를 다루며, 심사 기반 경우는 열어 두었다. 측정 대상을 시스템으로 두고, 일반화가능성 이론(generalizability theory)을 사용해 373,019건의 판정을 시스템, 문항(item), 심사자, 상호작용 성분으로 분해한다. 핵심 결과는 구조적이다: 단일 심사자 하에서 일반화가능성은 문항 수와 관계없이 σ²_s/(σ²_s+σ²_sj)에 점근하며, 이는 시스템×심사자 항에 n_i가 없기 때문이다. 문항은 포화(saturate)하지만 심사자는 그렇지 않다. 목표가 그 상한에 가까워질수록 목표 달성에 필요한 문항 비용은 발산한다. 그 상한은 LLM 심사가 아니라 점수制 루브릭 채점(pointwise rubric scoring)의 속성이다. 양쪽 제시 순서 모두에서 쌍wise 선호(pairwise preference)로 실행하면 σ²_sj는 σ²_s보다 두 자릿수 작아지고 상한은 0.986으로 올라가며(bootstrap [0.934, 1.000], 11개 시스템), 따라서 심사자 한 명으로 충분하다. 쌍wise 방식은 다른 문제를 산다: 먼저 제시된 시스템이 동일 시스템이 나중에 제시될 때보다 8.6 percentage points 더 자주 승리하며, 이 바이어스는 우리가 수집한 53개 공개 win-rate 비교에서 주장된 중앙 개선의 1.23배이다. 프로토콜 설계가 패널 크기를 지배한다. 측정된 바닥(floor)은 기본 문항 수에서 0–5 척도상 0.41–1.24점이며, 보고된 중앙 개선 0.28점과 대비된다; 정확히 대응 비교가 가능할 만큼 자주 반복되는 유일한 벤치마크에서, 수집한 17개 MT-Bench 개선은 모두 MT-Bench 자체 바닥 아래이고, win-rate 주장의 70%는 쌍wise 바닥 아래이다. 628편의 arXiv 논문 감사(두 독립 모델의 이중 코딩, 블라인드 인간 코딩 대비 검증 kappa=0.73) 결과, 4편 중 1편 미만만 평가를 한 번 이상 실행했는지 명시하며, 46–67%만 어떤 형태로든 불확실성을 보고한다.

원문 초록

Benchmarks scored by an LLM judge routinely adjudicate differences of a tenth of a point, but the resolution of those benchmarks has never been measured. Existing sample-complexity work covers accuracy benchmarks and leaves the judged case open. Treating the system as the object of measurement, we decompose 373,019 judgments into system, item, judge and interaction components using generalizability theory. The central result is structural: under a single judge, generalizability asymptotes to sigma2_s/(sigma2_s+sigma2_sj) regardless of item count, because the system-by-judge term carries no n_i. Items saturate; judges do not. The item cost of a target diverges as the target nears that ceiling. The ceiling is a property of pointwise rubric scoring, not of LLM judging. Run as a pairwise preference in both presentation orders, sigma2_sj falls two orders of magnitude below sigma2_s and the ceiling rises to 0.986 (bootstrap [0.934, 1.000] on 11 systems), so one judge suffices. Pairwise buys a different problem: a system presented first wins 8.6 percentage points more often than the same system presented second, a bias 1.23x the median improvement claimed in the 53 published win-rate comparisons we recovered. Protocol design dominates panel size. Measured floors are 0.41-1.24 points on a 0-5 scale at native item counts, against a median reported improvement of 0.28 points; on the one benchmark recurring often enough for an exactly matched comparison, all 17 recovered MT-Bench improvements fall below MT-Bench's own floor, and 70% of the win-rate claims fall below the pairwise floor. An audit of 628 arXiv papers, double-coded by two independent models and validated against blind human coding (kappa=0.73), finds fewer than one paper in four states whether its evaluation was run more than once, and only 46-67% report uncertainty of any kind.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27787v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15938v1cs.AI공통 태그 llm-as-a-judge, evaluation methodology

사각지대의 해부학: LLM 판사에게 무엇을, 얼마나 보여주어야 하는가

The Anatomy of a Blind Spot: What an LLM Judge Must Be Shown, and How Much

대규모 언어 모델(LLM)이 생성한 텍스트에 대한 평가(evaluation)는 판사 역할을 하는 LLM에게 점점 더 많이 위임되고 있으나, 이러한 판사에게 무엇을 보여주어야 하는지는 여전히 해결되지 않은 문제로 남아 있습니다. 본 연구에서는 보고서가 실제로 반영되는 판사를 사이버네틱스(cybernetics) 관점의 조절기(regulator)로 취급하며, 판사에게 무엇을, 얼마나, 어떤 형태로 보여주어야 하는지, 그리고 판사의 보고서가 무엇을 정확히 짚어내야 하는지 질문을 던집니다. 7개의 공개 벤치마크(benchmark)에서 판사에게 보여주는 내용만을 다르게 구성하여 실험을 진행했습니다. 비용 차이가 10배에서 17배에 달하는 세 종류의 판사를 비교했을 때, 어떤 판사를 사용하느냐보다 판사에게 무엇을 보여주느냐가 더 중요했습니다. 준수해야 할 자료를 보지 못한 판사의 피드백을 바탕으로 시스템이 답변을 수정했을 때, 인스트럭션 준수(instruction following) 및 질의응답(question answering) 성능은 시작 지점보다 더 낮아졌습니다. 인스트럭션 준수의 경우 라운드가 거듭될수록 손실이 증가했으며, 판사가 제약 조건은 보지 못한 채 사용자의 요청만 보았을 때나 두 번째 판사 모델군을 사용했을 때도 이러한 현상이 지속되었습니다. 뉴스 요약 과업에서는 원문과 함께 올바른 참조 요약(reference summary)을 제공했을 때 원문이 기여하는 바가 대부분 상쇄되었으나, 단일 답변 질문에서는 참조가 도움이 되었습니다. 원문의 약 10분의 1 수준만으로도 거의 전체 역할을 수행했으며, 소규모 함의 그래프(entailment graph)는 그라운딩(grounding)된 텍스트에서 오류를 찾아내는 데 있어 LLM 판사와 대등한 성능을 보였습니다. 실험 실행 전 83개의 검증 가능한 조항을 사전에 확정했으며, 실행된 81개 중 32개가 기준을 충족했고 50개는 예측된 방향으로 전개되었으나, 이론 기반의 정량적 예측은 대부분 빗나갔습니다. 본 논문에서는 모든 미흡한 점을 빠짐없이 보고하고 측정된 효과에 기반한 설계 규칙을 도출합니다.

arXiv:2610.00529v1cs.AI공통 태그 Benchmarking, evaluation methodology

온톨로지 기반 맥락적 AI 평가(OB-CAIE) 방법론

Ontology-Based Contextual AI Evaluations (OB-CAIE) Methodology

온톨로지 기반 맥락적 AI 평가(OB-CAIE, Ontology-Based Contextual AI Evaluation) 방법론은 불명확한 테스트 범위에서 비롯되는 과학적 엄밀성 부족 문제를 해결하고, 인간의 전문성과 자동화 간의 균형을 맞추며, AI 평가 테스트 환경의 재현성 부족 문제를 해결하기 위해 개발되었습니다. OB-CAIE는 무엇을 테스트할지 명확하게 정의함으로써 과학적 방법의 첫 단계를 다루어 현재의 AI 평가 상태를 강화합니다. OB-CAIE 방법론에서는 두 가지 온톨로지가 다루기 쉬운 문제 공간(tractable problem space)을 표현합니다. 바로 도메인 특화 온톨로지(DSO, Domain-Specific Ontology)와 평가 프로세스 온톨로지(EPO, Evaluation Process Ontology)입니다. DSO는 '무엇(what)'에 해당하며, EPO는 '어떻게(how)'에 해당합니다. 하나의 OB-CAIE 문제 공간은 단일 또는 다수의 AI 평가에 사용될 수 있습니다. OB-CAIE 방법론은 인간의 피드백이 진정으로 축약될 수 없거나 기계로 대체 불가능한 복잡한 주제 영역에서, 과학적으로 근거 있는 방식으로 특정 시점에 인간의 판단을 개입시킬 수 있도록 합니다. OB-CAIE 방법론의 주요 장점은 표준적인 OB-CAIE 방법론 문제 공간 내에서 실패 지점을 추적, 시각화 및 분석할 수 있다는 점입니다.

arXiv:2610.00224v2cs.AI공통 태그 Benchmarking

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2610.02946v2cs.CV공통 태그 Benchmarking

아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토

When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation

복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.