이질성 환경의 랭킹을 위해 얼마나 많은 반복 쌍체 비교가 필요한가?
How Many Repeated Pairwise Comparisons Are Needed for Ranking under Heterogeneity?
본 연구에서는 사용자와 태스크에 따라 선호도가 달라질 때, 쌍체 비교(pairwise comparisons)를 통해 모집단 평균 효용(population-average utility)을 기반으로 모델 순위를 매기는 문제를 탐구합니다. 선행 연구에 따르면 임의로 많은 사용자가 존재하더라도 사용자당 단 한 번의 비교만으로는 가장 높은 평균 효용을 가진 대안을 식별하기에 불충분할 수 있음이 밝혀졌습니다(Golz et al., 2025). 우리는 순위 복원을 위해 각 사용자-태스크 맥락(context) 내에서 얼마나 많은 반복 비교가 필요충분한지 조사합니다. 고정된 역온도(inverse temperature)를 갖는 이질적 Bradley-Terry 모델 하에서, 먼저 순위 복원을 보장하기 위해 맥락당 $Ω(1/Δ^2)$의 반복 비교를 필요로 하는 나이브한 MLE 기반 알고리즘을 살펴봅니다. 이어 맥락당 $O(\log(1/Δ))$회의 반복 비교만으로 순위를 복원하는 두 가지 MLE 기반 변형과 무작위화된 러시안 룰렛(Russian Roulette) 스타일의 알고리즘을 제시하며, 이러한 로그 의존성이 최적임을 증명합니다. 최악의 경우에 대한 이러한 요구 조건에도 불구하고, 제안하는 러시안 룰렛 알고리즘은 기대값 기준 맥락당 $O(1)$회의 비교만을 사용합니다. 합성 데이터 실험 및 Arena 데이터 기반의 준합성(semi-synthetic) 실험을 통해 다양한 수준의 선호도 이질성과 여러 맥락 분포 환경에서 네 가지 알고리즘을 비교 검증합니다.