희소 AI 평가에서 불확실성 정량화를 위한 고속 베이즈 방법
Fast Bayesian Methods for Uncertainty Quantification in Sparse AI Evaluation
한국어 초록
AI 시스템이 새로운 벤치마크에서 어떤 성능을 낼지 추정하는 데 또 다른 대규모 모델이 반드시 필요한 것은 아니다. 본 연구는 공개된 평가 횟수를 이용해 약한 베타 사전분포를 선택하고, 공개된 최대 31개의 결과로부터 이를 정확하게 갱신한다. 이 예측기는 문항 의미, 사전 학습된 가중치, 추론 API를 사용하지 않는다. AIMS 대회에서의 단일 온라인 평가에서 팀이 보고한 Brier ALC는 0.188477로, 상수 0.5 기준 대비 24.6% 감소했다. 전체 제출물은 7,754바이트이며, 서버 마이크로벤치마크에서 일치하는 레이블 31개를 사용할 때 예측당 12.71마이크로초가 측정된다. 원천 평가가 301개의 사전 평균으로 압축되는 방식을 설명하고, 집중도 2가 새로운 증거로 하여금 예측을 신속하게 결정하게 하는 이유를 보인다. 그 결과 얻은 사후분포는 수치 적분이나 신경망 추론 없이 모델링된 성공률에 대한 정확한 불확실성을 제공한다. 공개 평가는 79개의 시스템-벤치마크 쌍과 8개의 시드를 포괄하며, 제출된 방법은 Brier ALC 0.200250에 도달한다. 함께 제공되는 코드와 충분통계량은 적합된 사전분포를 바이트 단위로 재구성하고 632개의 모든 평가 궤적을 재현한다. 이 결과는 간결한 베이즈 모델이 매우 낮은 온라인 비용으로 희소한 목표 피드백에서 얼마나 많은 예측 가치를 추출할 수 있는지를 보여 준다.
원문 초록
Estimating how an AI system will perform on a new benchmark need not require another large model. We use public evaluation counts to choose a weak Beta prior, then update it exactly from at most 31 revealed outcomes. The predictor uses no item semantics, pretrained weights, or inference API. Its single online evaluation in the AIMS competition returned a team-reported Brier ALC of 0.188477, a 24.6% reduction from the constant-0.5 reference. The complete submission is 7,754 bytes; a server microbenchmark measures 12.71 microseconds per prediction with 31 matching labels. We describe how source evaluations are compressed into 301 prior means and show why a concentration of two lets new evidence rapidly determine the prediction. The resulting posterior gives exact uncertainty about the modelled success rate without numerical integration or neural inference. A public evaluation covers 79 system-benchmark pairs and eight seeds, reaching Brier ALC 0.200250 for the submitted method. Accompanying code and sufficient statistics reconstruct the fitted prior byte for byte and replay all 632 evaluation trajectories. The result demonstrates how much predictive value a compact Bayesian model can extract from sparse target feedback at very low online cost.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24159v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.