PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10795v1cs.LG

이질성 환경의 랭킹을 위해 얼마나 많은 반복 쌍체 비교가 필요한가?

How Many Repeated Pairwise Comparisons Are Needed for Ranking under Heterogeneity?

본 연구에서는 사용자와 태스크에 따라 선호도가 달라질 때, 쌍체 비교(pairwise comparisons)를 통해 모집단 평균 효용(population-average utility)을 기반으로 모델 순위를 매기는 문제를 탐구합니다. 선행 연구에 따르면 임의로 많은 사용자가 존재하더라도 사용자당 단 한 번의 비교만으로는 가장 높은 평균 효용을 가진 대안을 식별하기에 불충분할 수 있음이 밝혀졌습니다(Golz et al., 2025). 우리는 순위 복원을 위해 각 사용자-태스크 맥락(context) 내에서 얼마나 많은 반복 비교가 필요충분한지 조사합니다. 고정된 역온도(inverse temperature)를 갖는 이질적 Bradley-Terry 모델 하에서, 먼저 순위 복원을 보장하기 위해 맥락당 $Ω(1/Δ^2)$의 반복 비교를 필요로 하는 나이브한 MLE 기반 알고리즘을 살펴봅니다. 이어 맥락당 $O(\log(1/Δ))$회의 반복 비교만으로 순위를 복원하는 두 가지 MLE 기반 변형과 무작위화된 러시안 룰렛(Russian Roulette) 스타일의 알고리즘을 제시하며, 이러한 로그 의존성이 최적임을 증명합니다. 최악의 경우에 대한 이러한 요구 조건에도 불구하고, 제안하는 러시안 룰렛 알고리즘은 기대값 기준 맥락당 $O(1)$회의 비교만을 사용합니다. 합성 데이터 실험 및 Arena 데이터 기반의 준합성(semi-synthetic) 실험을 통해 다양한 수준의 선호도 이질성과 여러 맥락 분포 환경에서 네 가지 알고리즘을 비교 검증합니다.

arXiv:2508.11847v4stat.ML

소수의 선호도 데이터 제거만으로 상위 대규모 언어 모델 순위가 바뀔 수 있다

Dropping Just a Handful of Preferences Can Change Top Large Language Model Rankings

Chatbot Arena와 같은 주요 대규모 언어 모델(LLM) 순위 플랫폼이 Bradley–Terry 모델 기반 랭킹 시스템에서 극소량의 선호도 데이터 제거에 얼마나 취약한지를 평가하는 효율적인 방법(AMIP 기반)을 제안하며, 실험 결과 전체 데이터의 단 0.003%만 제거해도 Chatbot Arena 최상위 모델이 바뀔 수 있음을 보였다. 전문 어노테이터를 활용한 MT-bench 기반 순위는 크라우드소싱 방식 대비 현저히 견고하며, 인간 평가와 LLM-as-a-judge 평가 간 체계적인 민감도 차이는 관찰되지 않았다.

arXiv:2501.07437v3stat.ML공식 코드 · Papers with Code

확률적 추이성 없는 쌍별 비교: 모델, 이론 및 응용

Pairwise Comparisons without Stochastic Transitivity: Model, Theory and Applications

확률적 추이성(stochastic transitivity) 가정이 성립하지 않는 실제 쌍별 비교 환경을 위해, Bradley-Terry 및 Thurstone 모델을 저차원 반대칭 행렬(skew-symmetric matrix) 기반의 일반 모델 패밀리로 확장하고 핵 노름(nuclear norm) 제약을 통한 볼록 최적화 추정량을 제안한다. 이론적으로 미니맥스 최적율을 달성함을 증명하였으며, StarCraft II 및 테니스 실제 데이터에서 BT 모델 대비 우월한 예측 성능을 보였다.