arXiv:2611.21266v2 stat.ME

고정 벤치마크 이항 혼합에 대한 분산 적응형 신뢰 영역과 LLM 평가에의 응용

Variance-adaptive confidence regions for fixed-benchmark binomial mixtures, with application to LLM evaluation

Kuancheng Ye

제출 2026-11-16

한국어 초록

우리는 성공 확률 $p_1,\dots,p_m$의 경험적 법칙 $F_m$의 선형 범함수 $\theta(F_m)=\int h\,dF_m$에 대한 신뢰구간을, 독립적인 횟수 $c_i\sim\mathrm{Bin}(n,p_i)$로부터 구성한다. 이는 언어 모델을 문제당 $n$회 실행하는 경우에 해당한다. 포함 확률은 모든 $n$, $m$과 고정된 $(p_i)$에 대해, 그리고 모든 유계 $h$에 대해 동시에 최소 $1-\alpha$이다. 분산 적응형(VA) 영역은 각 후보 혼합 법칙을 그것이 함의하는 꼬리 횟수의 조건부 분산으로 검정한다. 이 분산은 법칙에 대해 선형이므로 영역은 선형계획이며, 셀 포락선이 격자 밖에서도 유효성을 유지한다. iid 표집에 맞춰 보정된 영역은 초모집단 법칙을 대상으로 하며 $\theta(F_m)$에 대해서는 보수적이다. 모든 $n$개의 꼬리 횟수, 고정된 $n$, 연속 $h$, 그리고 $m\to\infty$에 따라 세분화되는 격자가 주어지면, VA 폭의 식별 부분은 동일한 지표 집합을 가진 어떤 국소화와 마찬가지로 1차 최악 사례 최적이다. 주요 비교 대상 실행 이전에 고정된 규칙 아래에서, VA는 모든 $n$에서 2단계 플러그인 밴드보다 좁았으나(n=128에서 폭 비율 중앙값 0.60), n=128에서 점근적 점별 AMARI 구간보다는 좁지 않았다. 실제 롤아웃 풀에서는 $n\le128$일 때 점별 AMARI와 Bonferroni 보정 AMARI 둘 모두보다 넓었다. $P(p>0)$ 및 $k\gg n$인 pass@$k$에 대해서는 데이터가 하한만을 뒷받침한다.

원문 초록

We construct confidence intervals for linear functionals $\theta(F_m)=\int h\,dF_m$ of the empirical law $F_m$ of success probabilities $p_1,\dots,p_m$, from independent counts $c_i\sim\mathrm{Bin}(n,p_i)$, as for a language model run $n$ times per problem. Coverage is at least $1-\alpha$ for every $n$, $m$ and fixed $(p_i)$, simultaneously for all bounded $h$. The variance-adaptive (VA) region tests each candidate mixing law with the conditional variance of the tail counts it implies. This variance is linear in the law, so the region is a linear program, and cell envelopes keep it valid off-grid. Regions calibrated for iid sampling target a super-population law and are conservative for $\theta(F_m)$. With all $n$ tail counts, fixed $n$, continuous $h$ and a grid refined as $m\to\infty$, the identification part of VA's width is first-order worst-case optimal, as for any localization with the same index set. Under a rule fixed before the main comparator runs, VA was narrower than a two-stage plug-in band at every $n$ (median width ratio 0.60 at $n=128$), but not than the asymptotic, pointwise AMARI interval at $n=128$; on real rollout pools it was wider than both pointwise and Bonferroni-adjusted AMARI at $n\le128$. For $P(p>0)$ and pass@$k$ with $k\gg n$ the data support only lower bounds.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21266v2제출 시각 미확인
  2. arXiv:2611.21266v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.