본 연구에서는 사용자와 태스크에 따라 선호도가 달라질 때, 쌍체 비교(pairwise comparisons)를 통해 모집단 평균 효용(population-average utility)을 기반으로 모델 순위를 매기는 문제를 탐구합니다. 선행 연구에 따르면 임의로 많은 사용자가 존재하더라도 사용자당 단 한 번의 비교만으로는 가장 높은 평균 효용을 가진 대안을 식별하기에 불충분할 수 있음이 밝혀졌습니다(Golz et al., 2025). 우리는 순위 복원을 위해 각 사용자-태스크 맥락(context) 내에서 얼마나 많은 반복 비교가 필요충분한지 조사합니다. 고정된 역온도(inverse temperature)를 갖는 이질적 Bradley-Terry 모델 하에서, 먼저 순위 복원을 보장하기 위해 맥락당 $Ω(1/Δ^2)$의 반복 비교를 필요로 하는 나이브한 MLE 기반 알고리즘을 살펴봅니다. 이어 맥락당 $O(\log(1/Δ))$회의 반복 비교만으로 순위를 복원하는 두 가지 MLE 기반 변형과 무작위화된 러시안 룰렛(Russian Roulette) 스타일의 알고리즘을 제시하며, 이러한 로그 의존성이 최적임을 증명합니다. 최악의 경우에 대한 이러한 요구 조건에도 불구하고, 제안하는 러시안 룰렛 알고리즘은 기대값 기준 맥락당 $O(1)$회의 비교만을 사용합니다. 합성 데이터 실험 및 Arena 데이터 기반의 준합성(semi-synthetic) 실험을 통해 다양한 수준의 선호도 이질성과 여러 맥락 분포 환경에서 네 가지 알고리즘을 비교 검증합니다.
Zermelo 알고리즘은 Bradley--Terry(BT) 모델에서 최대 가능도 추정량을 계산하는 고전적인 방법이지만, 실무에서 그 수렴이 느릴 수 있다. 계산을 가속하기 위해 Newman은 $α$로 매개변수화된 Zermelo형 고정점 반복법 계열을 도입했으며, $α=1$에서 Zermelo 알고리즘이 복원된다. 경험적 증거는 $α=0$ 선택이 종종 상당히 더 빠르게 수렴함을 시사하여 유망한 대안이 되지만, 이러한 가속의 기저 메커니즘은 여전히 불명확하다. 본 논문은 체계적인 국소 수렴 분석을 통해 이 현상에 대한 이론적 통찰을 제공한다. 우리는 동기 및 비동기 업데이트 하에서 국소 수렴 인자에 대한 닫힌 형태 표현을 유도하고, 관련 야코비안 행렬의 스펙트럼 분석을 통해 $α$에 대한 의존성을 분석한다. 동기 업데이트의 경우, $α<1$일 때 알고리즘이 수렴하지 못할 수 있음을 보이며, 모집단 BT 모델 하에서 국소 수렴 인자가 $α$에 대해 준볼록(quasi-convex)임을 보인다. 반면 비동기 업데이트는 항상 국소적으로 수렴하며, 일관된 순서의 이분 비교 그래프에 대한 모집단 BT 모델 하에서 국소 수렴 인자가 $α$에 대해 단조 증가함을 증명하여, 이 설정에서 $α=0$의 최적성을 확립한다. 우리는 또한 BT 모델 하에서 모집단 수렴 인자에 대한 점근 근사 결과를 확립하여 그 실용적 관련성을 정당화한다. 합성 및 실제 데이터셋에 대한 수치 실험이 이론을 확인한다. 우리의 분석은 기존 수렴 결과를 보완하며, $α=0$의 가속이 매개변수 선택뿐 아니라 더 중요하게는 비동기 업데이트 사용에서 기인함을 보여준다.
확률적 추이성(stochastic transitivity) 가정이 성립하지 않는 실제 쌍별 비교 환경을 위해, Bradley-Terry 및 Thurstone 모델을 저차원 반대칭 행렬(skew-symmetric matrix) 기반의 일반 모델 패밀리로 확장하고 핵 노름(nuclear norm) 제약을 통한 볼록 최적화 추정량을 제안한다. 이론적으로 미니맥스 최적율을 달성함을 증명하였으며, StarCraft II 및 테니스 실제 데이터에서 BT 모델 대비 우월한 예측 성능을 보였다.
정보 검색·추천에서 공정성과 유틸리티를 동시에 맞추기 위해 문서별 점수를 학습하는 스코어링 기반 랭킹은, 유틸리티 중심 목표와 달리 모든 유틸리티-공정성 트레이드오프를 달성하는 데 최적이 아니며, 결정론·확률적 스코어링과 단일·다중 쿼리 설정 모두에서 한계가 지속됨을 반례로 보인다. 대안으로 관련성을 먼저 학습한 뒤 사후처리(re-ranking)로 공정성을 반영하는 반탐욕적 빔 서치(beam search)가 스코어링보다 더 넓은 트레이드오프를 효율적으로 달성할 수 있음을 실험으로 확인한다.
대규모 언어 모델(LLM) 평가는 모델의 능력을 이해하고, 경쟁하는 시스템을 비교하며, 실제 환경에서 신뢰할 수 있는 모델의 배포를 지원하는 데 중요하다. 개방형(open-ended) 작업에서는, 동일한 프롬프트에 대한 두 응답을 비교하고 그 결과적 판정을 전체 순위로 집계하는 쌍별(pairwise) 평가가 인기 있는 패러다임이 되었다. 이 패러다임의 핵심 과제는 비가환성(intransitivity)이다. 유도된 비교 결과가 어떠한 일관된 전역 순위(global ranking)를 뒷받침하지 못할 수 있다. 예를 들어, $A \succ B \succ C \succ A$와 같은 순환적 선호, 또는 $A \equiv B\equiv C\neq A$와 같이 동률(tie)이 포함된 불일치가 관찰될 수 있다. 이러한 모순은 결과적인 리더보드의 불안정성과 해석의 어려움을 초래한다. 본 논문에서는 쌍별 LLM 평가의 일관성을 향상시키기 위한 프롬프트 섭동(prompt perturbation) 프레임워크를 제안한다. 우리의 접근법은 각 프롬프트의 섭동 변형을 생성하고, 이로부터 얻은 비교 그래프를 이용해 구조적으로 일관되지 않은 비교 패턴을 식별·필터링한 뒤, 필터링된 비교에 표준 순위 산출(ranking) 방법을 적용한다. 제안 프레임워크의 주요 특징은, 순위 집계 전에 그래프 수준의 구조적 일관성(structural consistency)이 평가 파이프라인에 명시적으로 통합된다는 점이다. 이는 순환적 불일치를 줄이고 LLM 순위의 신뢰성을 향상시키는 간단하고 원칙적인 방법을 제공한다.
개인이나 사회 집단이 포함된 순위 매기기 문제에서 공정성은 특히 책임 있는 인공지능(Responsible AI) 의제 하에서 중요한 관심사가 되었습니다. 다기준 의사결정 분석(MCDA)에서 확률적 다기준 수용성 분석(SMAA)은 불확실성과 불완전한 선호 정보를 처리하는 강력한 프레임워크를 제공하지만, 결과로 나오는 순위에서 공정성을 명시적으로 다루지는 못합니다. 본 논문은 순위 매기기 문제에 대한 SMAA의 공정성 인식 확장인 SMAA-Fair를 제안합니다. 이 접근법은 SMAA가 생성한 시뮬레이션된 순위의 집단 공정성 수준에 따라 가중치를 재조정하여, 더 공정한 순위가 수용성 지수와 중심 가중치 벡터에 더 강력하게 기여하도록 합니다. 이 프레임워크는 집계 모델에 독립적이며 다양한 공정성 지표를 통합할 수 있습니다. 본 연구에서는 통계적 패리티(Statistical Parity), 정규화된 할인 쿨백-라이블러 발산(rKL), 정규화된 할인 누적 쿨백-라이블러 발산(nDKL)을 채택합니다. 순위는 기대 순위와 최대 수용성 순위를 사용하여 공정성 조정 수용성 행렬에서 도출됩니다. 또한 획득된 순위의 공정성 정도에 따라 중심 가중치를 도출합니다. 합성 데이터와 실제 데이터를 사용한 수치 실험 결과, SMAA-Fair는 선호 불확실성에 대한 강인성을 유지하면서 유리한 순위 위치에서 보호 집단의 대표성을 향상시키는 것으로 나타났습니다.