근소한 차이의 LLM 순위는 패밀리 DIF 기반 벤치마크 재구성에 견고한가?
Are Near-Tied LLM Rankings Robust to Family-DIF-Guided Benchmark Recomposition?
리더보드에서의 미세한 격차는 종종 한 언어 모델(language model)이 다른 모델보다 우수하다는 증거로 해석되지만, 그 우열의 부호(방향)는 어떤 벤치마크 문항이 포함되는지에 따라 달라질 수 있습니다. 본 연구에서는 5개 벤치마크의 문항 수준 응답과 패밀리 라벨이 필요 없는 다차원 문항 반응 이론(MIRT)의 스펙트럼 근사를 활용하여 이를 검증합니다. 소유자 기준 서로소 분할(owner-disjoint fold)에서, 소유자 절반은 모델 패밀리 전반에 걸쳐 잔차 차별 문항 기능(DIF)이 낮은 문항(low-DIF)을 식별합니다. 이렇게 선별된 문항은 메타데이터 정의 문항 그룹 및 난이도 계층에 걸쳐 벤치마크 구성을 보존하는 고정 가중치를 통해 나머지 절반의 모델을 평가하는 데 사용됩니다. 동일하게 짧은 매칭 무작위 하위 테스트는 문항 하위 표본 추출로 인한 변동에 대한 기준선(baseline)을 제공합니다. 전체 벤치마크 순위와 low-DIF 순위는 강한 상관관계($τ_b=.900$--$.948$)를 유지합니다. 그러나 5개 벤치마크 중 4개에서 초기에 1%포인트 이내 격차였던 교차 패밀리 쌍의 30.9--47.1%가 순위 역전을 보였으며, 이는 매칭 무작위 중앙값을 16.9--28.6%포인트 초과했습니다(모두 $p=.001$). 5번째 벤치마크는 유의미한 초과를 보이지 않았습니다($-0.9$포인트, $p=.689$). 이러한 패턴은 사전 지정된 모든 모집단 섭동에서도 유지되었으며, 잔차 문항-패밀리 시그니처는 소유자 절반 간에 복제되었습니다. 그러나 어떤 패밀리도 벤치마크 전반에 걸쳐 일관된 우위를 보이지는 않았습니다. 따라서 전역적으로 안정적인 순위일지라도 개별적인 근소한 순위는 여전히 벤치마크 구성에 민감할 수 있으며, 1%포인트 미만의 리더보드 격차는 내포된 순위가 구성에 견고하다는 증거와 함께 제시되어야 합니다.