arXiv:2610.07755v1 stat.ML

AI 심사위원을 활용한 신뢰할 수 있는 방법 비교: 순서, 배치 및 집계 효과 하에서의 추정 및 설계

Trustworthy Method Comparison with AI Judges: Estimation and Design under Order, Batch, and Aggregation Effects

Tianxi Li, Jie Ding

제출 2026-10-06

한국어 초록

대규모 언어 모델(LLM)이 자동화된 AI 평가(evaluation)를 위한 심사위원으로 점점 더 널리 사용되고 있습니다. 프롬프트(prompt) 순서를 무작위화하고 결과 점수를 평균 내는 방식이 일반적으로 사용되지만, 이에 대한 통계적 유효성은 여전히 명확하지 않습니다. 본 논문에서는 세 가지 주요 상용 LLM에 걸친 표본 외 예측을 바탕으로, LLM 평가 메커니즘이 마르코프 일반화 선형 혼합 모델(Markov GLMM) 군으로 근사될 수 있음을 보입니다. 1차 마르코프 GLMM을 사용하여 리더보드 순위 산정 및 그룹 비교를 연구합니다. 리더보드 순위 산정의 경우, 무작위화 후 평균을 취하는 선택 방식은 완만한 분리 조건 하에서 일관성을 가지며, 항목 간 품질이 유사할 때는 윌리엄스 정방 설계(Williams square design)를 통해 효율성을 개선할 수 있습니다. 그룹 비교의 경우, 반응 모델의 비선형성으로 인해 단순 평균 계산이 그룹 수준의 품질 차이에 대해 일관되지 않은 결론을 초래할 수 있습니다. 실증적 결과는 고차 시퀀스 메모리가 존재하는 설정을 포함하여, 1차 이론을 넘어서 제안된 모델 기반 추론의 유효성을 더욱 뒷받침합니다. 마지막으로 AI 심사위원이 두 가지 그래피컬 모델 추정 방법을 비교하는 응용 사례를 통해 이 접근법을 실증합니다.

원문 초록

Large language models (LLMs) are increasingly used as judges for automated AI evaluation. A common practice is to randomize prompt sequences and average the resulting scores, but its statistical validity remains unclear. We show that LLM evaluation mechanisms can be approximated by a class of Markov generalized linear mixed models (GLMMs), supported by out-of-sample predictions across three major commercial LLMs. Using a first-order Markov GLMM, we study leaderboard ranking and group comparison. For leaderboard ranking, randomize-and-average selection is consistent under a mild separation condition, and a Williams square design can improve efficiency when item qualities are close. For group comparison, naive averaging can yield inconsistent conclusions about differences in group-level quality because of the response model's nonlinearity. Empirical results further support the validity of the proposed model-based inference beyond the first-order theory, including settings with higher-order sequence memory. We illustrate the approach in an application where AI judges compare two graphical model estimation methods.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.07755v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.