최대우도(maximum-likelihood) 쌍별 랭킹(pairwise ranking)은 우선순위 지정, 평판 추정, 비교 기반 의사결정 지원을 위한 대표적인 계산 메커니즘입니다. 광범위한 사용에도 불구하고, 비교 데이터의 구조화된 변화에 따른 이 추정기(estimator)의 섭동 민감도(perturbation sensitivity)는 여전히 충분히 규명되지 않았습니다. 본 연구에서는 이를 안정성 분석에서의 응용수학 및 계산과학 문제로 다룹니다. 우리는 조정된 섭동(coordinated perturbation)을 쌍별 관측치에 대한 예산 제약 기반 부분집합 선택 문제로 정형화하고, 영향력이 큰 섭동 집합을 탐색하기 위한 확장 가능한 탐색 휴리스틱으로서 적응형 부분집합 선택 공격(Adaptive Subset Selection Attack, ASSA)을 제안합니다. 합성 데이터셋과 관측된 선호도 데이터셋에 대한 실험을 통해, MLE 기반 랭킹이 뚜렷한 체제 의존적(regime-dependent) 민감도를 보일 수 있음을 입증합니다. 즉, 비교적 작지만 조정된 섭동이 출력 순서에 유의미한 변화를 유도할 수 있으며, 응답 프로파일은 예산 및 데이터 조건에 따라 달라집니다. 반복 시험 환경에서 ASSA를 무작위, 탐욕적(greedy), 무작위화 부분집합 베이스라인과 비교함으로써, 섭동으로 유도된 랭킹 변화의 크기와 가변성을 모두 규명합니다. 이러한 결과는 쌍별 랭킹 민감도를 비교 기반 추론(inference)으로 구축된 엔지니어링 시스템의 계산 신뢰성, 수치적 안정성 및 강건성 감사(auditing) 문제로 자리매김하게 합니다.
LLM을 평가자(judge)로 사용할 때 발생하는 장황성(verbosity) 및 위치 편향(position bias)을 편향-인식 베이즈 Bradley–Terry 모델로 명시적으로 모델링하여, 고정된 비교 예산 내에서 top-k 아이템을 정확히 식별하는 방법을 제안한다. 16개의 실제 LLM 평가자 실험에서 단순 집계 방식은 편향된 평가자에서 잘못된 top-k로 수렴하지만, 제안 모델은 recall을 0.5~0.6에서 0.84~1.0으로 끌어올리며, top-k 멤버십 불확실성에 집중하는 능동적 쌍 선택 규칙은 라운드로빈 대비 훨씬 적은 비교 횟수로 동일한 성능에 도달한다.
정답(ground-truth) 레이블이 없는 개방형 과제에서 대규모 언어 모델(LLM)을 평가하는 것은 점차 LLM-as-a-judge 패러다임을 통해 수행되고 있습니다. 중요하지만 충분히 모델링되지 않은 문제는 판단 모델(judge LLM)의 신뢰도가 상당히 다르다는 점입니다. 모든 판단 모델을 동등하게 취급하면 편향된 리더보드와 오해의 소지가 있는 불확실성 추정치가 도출될 수 있습니다. 잘못 명시된 집계(misspecified aggregation) 하에서는 더 많은 데이터가 평가 결과를 더욱 확신 있게 틀리게 만들 수 있습니다. 본 연구는 판단 모델별 판별력 매개변수(judge-specific discrimination parameters)를 도입하여 Bradley-Terry-Luce 모델을 확장한 판단 모델 인식 랭킹 프레임워크를 제안합니다. 이 프레임워크는 참조 레이블 없이 쌍대 비교(pairwise comparisons)로부터 잠재적인 모델 품질과 판단 모델의 신뢰도를 공동으로 추정합니다. 자연스러운 정규화(natural normalizations)까지 식별 가능성(identifiability)을 확립하고 최대 가능도 추정기(maximum likelihood estimator)의 일관성(consistency) 및 점근적 정규성(asymptotic normality)을 증명하여, 점수 차이와 순위 비교에 대한 신뢰 구간(confidence intervals)을 가능하게 합니다. 여러 공개 벤치마크와 새로 수집된 데이터셋(dataset)에서 본 방법은 인간 선호도와의 일치도를 개선하고, 가중치가 없는 기준선(unweighted baselines)보다 높은 데이터 효율성을 달성하며, LLM 랭킹에 대해 보정된 불확실성 정량화(uncertainty quantification)를 생성합니다.