arXiv:2609.29140v2 cs.AI

비용 효율적인 LLM 평가: 고정 예산에서 좁은 신뢰구간을 얻기 위한 프레임워크

Cost-Efficient LLM Evaluation: A Framework for Narrow Confidence Intervals Under Fixed Budgets

Yezhou Cheng, Runjia Du, Zeming Liu, Qibai Chen, Hang Lyu, Yilan Wei, Yankai Zeng, Bojun Lin

제출 2026-11-19

한국어 초록

대규모 언어 모델(LLM)은 학계 연구와 산업 모두에서 점점 더 중요한 역할을 하고 있다. 신뢰할 수 있는 평가는 연구자가 모델의 능력을 이해하고 모델 개발 과정에서의 진전을 평가하는 데 도움이 된다. 그러나 평가에는 비용이 많이 들 수 있으며, 연구자는 종종 고정된 예산 내에서 성능을 평가해야 한다. 모델의 출력은 실행마다 달라질 수 있으므로, 이 예산은 서로 다른 과제를 테스트하는 일과 선택된 과제를 반복하는 일 사이에 배분되어야 한다. 신뢰구간은 그 결과로 얻은 성능 추정치의 불확실성을 정량화한다. 같은 신뢰수준과 평가 비용에서 더 좁은 구간을 얻으면 모델 성능을 더 정밀하게 평가할 수 있으며, 연구자가 제한된 관측으로부터 더 명확한 결론을 도출하는 데 도움이 된다. 본 논문은 전체 과제를 포괄하는 경우와 그렇지 않은 경우 모두에 대해, 고정된 평가 예산을 과제와 반복 실행에 배분하는 프레임워크를 제안한다. 이 프레임워크는 동일한 과제에 대한 실행 간 불일치를 이용하여 추정 오차의 한계를 정하며, 표본으로 추출된 반복 실행의 변동이 작을 때 같은 신뢰수준에서 더 좁은 신뢰구간을 얻을 수 있게 한다. 각 과제에서 반복 실행이 동일한 결과를 낼 때, 과제 수와 반복 예산이 증가함에 따라 본 프레임워크가 최악의 경우에 신뢰구간을 좁히는 이론적으로 가능한 가장 빠른 속도를 달성함을 증명한다. 또한 모든 과제를 반드시 포괄해야 하는 경우와 과제를 건너뛸 수 있는 경우 모두에 대해, 평가자가 이전 결과를 이용해 다음에 수행할 실행을 결정하더라도 성립하는 일치하는 하한을 증명한다. LiveCodeBench에서 본 프레임워크는 16개 모델 구성 중 15개에서 균등 무작위 샘플링보다 평균적으로 더 좁은 신뢰구간을 도출하였으며, 같은 신뢰수준과 구성당 1,100개 출력이라는 동일한 예산에서 폭이 중앙값 기준 30.6% 감소하였다.

원문 초록

Large language models (LLMs) play an increasingly important role in both academic research and industry. Reliable evaluation helps researchers understand model capabilities and assess progress during model development. However, evaluation can be costly, and researchers often need to assess performance within a fixed budget. Because model outputs can vary across runs, this budget must be allocated between testing different tasks and repeating selected tasks. A confidence interval quantifies the uncertainty in the resulting performance estimate. Obtaining narrower intervals at the same confidence level and evaluation cost provides a more precise assessment of model performance, helping researchers draw clearer conclusions from limited observations. We introduce a framework that allocates a fixed evaluation budget across tasks and repeated runs, with or without full task coverage. The framework then uses disagreements between runs on the same task to bound estimation error, allowing narrower confidence intervals at the same confidence level when the sampled repeats show little variability. When repeated runs on each task yield the same outcome, we prove that our framework achieves the fastest theoretically possible rates for narrowing confidence intervals in the worst case as the number of tasks and the budget for repeats grow. We establish matching lower bounds both when every task must be covered and when tasks may be skipped, even for evaluators who use earlier results to decide which run to carry out next. On LiveCodeBench, our framework yielded narrower confidence intervals on average than uniform random sampling in 15 of 16 model configurations, with a median width reduction of 30.6% at the same confidence level and the same budget of 1,100 outputs per configuration.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.29140v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.