arXiv:2607.25257v1 stat.AP

Laplace-PSN-IRT: LLM 벤치마크용 신경 문항 반응 이론 모델을 위한 불확실성 정량화

Laplace-PSN-IRT: Uncertainty Quantification for Neural Item Response Theory Models of LLM Benchmarks

Juan Francisco, Mandujano Reyes

제출 2026-07-28

한국어 초록

문항 반응 이론(Item Response Theory, IRT)은 모델의 잠재 능력과 개별 벤치마크 문항의 특성을 분리함으로써 대규모 언어 모델(LLM) 벤치마크를 평가하기 위한 프레임워크로 최근 제안되었습니다. PSN-IRT를 포함한 기존 신경 IRT 접근 방식들은 이러한 값들을 점추정(point estimate) 방식으로 추정하므로, 불확실성 정량화 및 다운스트림 통계적 추론에 한계가 있습니다. 본 논문에서는 사후(post-hoc) 마지막 층 라플라스 근사(Laplace approximation)를 통해 재학습 없이도 학습된 PSN-IRT 모델에 근사 베이지안 사후 추론을 보강하여 모델 능력 및 문항 난이도에 대한 보정된 불확실성을 복원하는 Laplace-PSN-IRT를 소개합니다. 도출된 사후분포는 신용 구간 산출, 모델 간 확률적 비교, 피셔 정보(Fisher information) 기반 문항 선택으로의 매개변수 불확실성 전파를 가능하게 합니다. 표준 LLM 벤치마크 리더보드의 12개 모델 간 쌍별 비교(pairwise comparison)에서 점추정 순위가 다름에도 불구하고 대다수가 통계적으로 구별되지 않음을 보여줍니다. 나아가 점추정 피셔 정보는 단일 기준 능력에서 평가되기 때문에 다수의 벤치마크 문항에 대해 0에 가까워질 수 있는 반면, 사후 기대 피셔 정보는 전체 능력 범위에 걸쳐 실질적으로 훨씬 더 안정적으로 유지됨을 보여줍니다. 마지막으로 사후 기대 피셔 정보는 대부분의 실험 환경에서 작은 벤치마크 부분집합으로부터 전체 벤치마크 능력 순위를 더 정확하게 복원하며, 가장 작은 부분집합에 대해서도 점추정 성능과 대등한 수준을 유지합니다. 저자들은 홀드아웃(held-out) 예측 커버리지를 활용해 근사 사후분포의 보정(calibration)을 검증하였으며, 문항 변별도를 고정으로 취급하면서 문항 난이도를 확률 변수로 모델링하는 것이 이 아키텍처에서 잘 보정된 불확실성을 생성함을 확인했습니다.

원문 초록

Item Response Theory (IRT) has recently been proposed as a framework for evaluating large language model (LLM) benchmarks by separating a model's latent ability from the properties of individual benchmark items. Existing neural IRT approaches, including PSN-IRT, estimate these quantities using point estimates, limiting uncertainty quantification and downstream statistical inference. We introduce Laplace-PSN-IRT, a post-hoc last-layer Laplace approximation that augments a trained PSN-IRT model with approximate Bayesian posterior inference, recovering calibrated uncertainty over model ability and item difficulty without retraining. The resulting posterior enables credible intervals, probabilistic comparisons between models, and propagation of parameter uncertainty into Fisher-information-based item selection. We show that most pairwise comparisons among 12 models on a standard LLM benchmark leaderboard are not statistically distinguishable despite differing point-estimate ranks. We further show that point-estimate Fisher information can become nearly zero for many benchmark items because it is evaluated at a single reference ability, whereas posterior-expected Fisher information remains substantially more stable across the ability range. Finally, posterior-expected Fisher information more accurately recovers full-benchmark ability rankings from small benchmark subsets in most experimental settings while matching point-estimate performance for the smallest subsets. We validate the calibration of the approximate posterior using held-out predictive coverage and find that modeling item difficulty as random while treating item discrimination as fixed produces well-calibrated uncertainty in this architecture.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.25257v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.