PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.28177v1stat.ML

LLM 리더보드 주장은 숨겨진 모델 선택에 얼마나 민감한가?

How Sensitive Are LLM Leaderboard Claims to Hidden Model Selection?

LLM 리더보드에서의 성능 향상은 비공개로 평가된 여러 모델 변형 중에서 이루어진 선택을 반영할 수 있지만, 변형의 수와 이들 간의 의존성은 모두 공개되어 있지 않다. 본 연구는 공개된 마진(margin)이 고정된 비교 대상에 대한 제공자의 우위를 뒷받침하는 통계적 증거를 유지하면서 몇 개의 숨겨진 변형까지 지지할 수 있는지를 묻는다. 고정된 후보 모델군에 대해 가우시안 마진 모델을 가정하고, 모델군 내 상관관계의 하한에 대한 함수로서 이 최대 개수를 나타내는 민감도 곡선을 유도한다. 관련 상관관계는 순위 산정에 사용된 점수와 표본추출 모델에 부합해야 한다. 통제된 모델군에서 문항 단위를 통합한(pooled) 문항 상관관계는 0.90인 반면, 종합 점수(composite-score) 상관관계는 문항을 재표집할 때 0.46, MMLU 과목을 재표집할 때 0.92이다. Open LLM Leaderboard의 인접 순위 주장 394건에 대한 문항 기반 감사 결과, 391건은 선택을 고려하기 전부터 이미 통계적 뒷받침이 부족한 것으로 나타났다. 보정 전 검정을 통과한 주장들 중에서도, 인증 여부는 숨겨진 모델군의 상관관계에 대한 가정에 좌우될 수 있다. 이렇게 얻어진 곡선은 관측되지 않은 탐색 규모를 추정하지 않으면서 이러한 가정을 명시적으로 드러낸다.