순위를 위한 저랭크: 희소한 쌍대 비교 하에서 불확실성을 고려한 태스크별 LLM 순위 산정
Low Rank for Rank: Uncertainty-Aware Task-Specific LLM Ranking under Sparse Pairwise Comparisons
한국어 초록
Chatbot Arena와 같은 쌍대 인간 선호도 플랫폼은 대규모 언어 모델(LLM) 평가의 핵심이 되었지만, 신뢰할 수 있는 태스크별 순위 산정은 여전히 어려운 과제입니다. 전역 리더보드는 태스크 간 이질성을 가리는 반면, 세분화된 각 태스크를 독립적으로 순위 매기는 방식은 희소하고 불균형한 비교 하에서 불안정합니다. 본 논문은 희소한 쌍대 비교로부터 태스크별 LLM 순위를 산정하기 위한 저랭크(low-rank) 프레임워크를 제안합니다. 이 프레임워크는 태스크-모델 능력 행렬 $Θ^\star \in \mathbb{R}^{d_t \times d_m}$을 저랭크로 모델링하여, 관련된 태스크 간에 정보를 공유하면서도 태스크별 차이는 보존합니다. 먼저 볼록(convex) 초기화기와 교대 최소화(alternating-minimization) 정제를 결합하여 잠재 점수에 대한 최대 노름($\ell_\infty$) 기준의 정확한 추정량을 개발하고, 희소 샘플링 하에서 태스크별 상위 $K$개 복원 보장을 증명합니다. 본 논문의 핵심 기여는 태스크별 순위 산정을 위한 불확실성 정량화 프레임워크입니다. 두 모델 간의 태스크별 능력 격차와 같이 고정된 점수 대비(contrast)에 대해 교차 적합(cross-fitted) 1단계 편향 제거(one-step debiased) 추정량을 구성하며, 이는 준모수적 효율성 하한(semiparametric efficiency bound)을 달성하는 점근적으로 유효한 신뢰구간을 제공합니다. 이어서 추론을 고차원 순위 영역으로 확장합니다. 이 영역에서는 태스크별 순위와 상위 $K$ 포함 여부가 서로 종속적인 다수의 점수 격차 가설에 의해 결정됩니다. 가우시안 및 승수 부트스트랩(multiplier-bootstrap) 보정을 사용하여, 여러 태스크와 모델에 걸쳐 태스크별 순위에 대한 동시 신뢰 집합과 유효한 상위 $K$ 포함 검정을 얻습니다. 합성 데이터와 Chatbot Arena에서의 실험 결과, 저랭크 공유는 독립적인 태스크별 Bradley-Terry 추정 대비 샘플 효율성을 향상시키며 더 조밀하고 보정이 더 잘 된 순위 인증서(ranking certificate)를 생성하는 것으로 나타났습니다. 특히 실제 LLM 벤치마크에서 전형적인 희소 영역에서 가장 큰 향상이 관찰되었습니다.
원문 초록
Pairwise human-preference platforms such as Chatbot Arena have become central to large language model (LLM) evaluation, yet reliable task-specific ranking remains challenging. Global leaderboards mask task heterogeneity, while ranking each fine-grained task independently is unstable under sparse, imbalanced comparisons. We propose a low-rank framework for task-specific LLM ranking from sparse pairwise comparisons, modeling the task-by-model ability matrix $Θ^\star \in \mathbb{R}^{d_t \times d_m}$ as low rank so that information is shared across related tasks while task-specific differences are preserved. We first develop a max-norm ($\ell_\infty$) accurate estimator for the latent scores, combining a convex initializer with alternating-minimization refinement, and prove task-wise top-$K$ recovery guarantees under sparse sampling. Our main contribution is an uncertainty quantification framework for task-specific ranking. We construct cross-fitted one-step debiased estimators for fixed score contrasts -- such as the task-specific ability gap between two models -- yielding asymptotically valid confidence intervals that attain the semiparametric efficiency bound. We then extend the inference to the high-dimensional ranking regime, where per-task ranks and top-$K$ membership are determined by many dependent score-gap hypotheses. Using Gaussian and multiplier-bootstrap calibration, we obtain simultaneous confidence sets for per-task ranks and valid top-$K$ membership tests across many tasks and models. Experiments on synthetic data and Chatbot Arena show that low-rank sharing improves sample efficiency over independent task-wise Bradley-Terry estimation and produces tighter, better-calibrated ranking certificates, with the largest gains in the sparse regime typical of real LLM benchmarks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.29395v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.