오염은 점수를 부풀리지만 대규모 언어 모델 리더보드 순위를 거의 바꾸지 않는다
Contamination Inflates Scores but Rarely Reorders Large Language Model Leaderboards
한국어 초록
벤치마크 오염, 즉 테스트 항목이 학습 데이터로 유출되는 현상은 대규모 언어 모델(LLM) 리더보드의 신뢰성에 대한 위협으로 널리 거론된다. 우리는 이 우려가 서로 다른 두 질문을 혼동한다고 주장한다. 오염이 절대 점수를 부풀리는지, 그리고 모델의 순위를 재정렬하는지 여부이다. 우리는 오염을 앵커 항목 불변성(anchor-item invariance) 위반으로 재정의하고, 원본 항목과 의미적으로 동등한 패러프레이즈 항목 간의 차등적 기능(differential functioning)을 통해 이를 측정한다. 이는 항목 내 대조(within-item contrast)로, 측정된 능력은 고정한 채 암기와 역량을 분리한다. 공개된 47개 모델과 알려진 오염량으로 파인튜닝된 74개 모델의 인스턴스별 응답을 네 벤치마크(ARC, GSM8K, HellaSwag, MMLU)에서 사용하여, 먼저 이 측정치를 정답(ground truth)에 대해 보정한다. 주입된 오염량에 반응적으로 복원하며(테스트 세트 유출에 대한 보정 효과 +0.187 정확도 포인트), 합법적인 학습 분할만으로 학습된 음성 대조 모델은 절대 플래그하지 않는다(-0.012). 이어 리더보드 영향을 정량화한다. 표준 리더보드와 패러프레이즈 통제 리더보드 간 순위 상관은 0.997이며, 민감도 분석은 관측된 차등적 오염이 순위를 바꾸는 데 필요한 수준보다 훨씬 낮음을 보여준다. 188개의 모델×벤치마크 사례 중 두 기준(reference)에서 뒷받침되는 차등적 오염은 3건뿐이다. 따라서 이 공개 모델들에서의 오염은 대체로 균일하다. 절대 점수는 부풀리지만 리더보드를 재정렬하지 않으며, 순위 왜곡에는 드문 경우인 차등적 오염이 필요하다. 우리는 보정된 불변성 감사(audit)를 참조 구현으로 공개하고, 리더보드가 패러프레이즈 통제 순위와 신뢰 구간을 함께 보고할 것을 권고한다.
원문 초록
Benchmark contamination, the leakage of test items into training data, is widely described as a threat to the reliability of large language model (LLM) leaderboards. We argue that this concern conflates two distinct questions: whether contamination inflates absolute scores, and whether it reorders the ranking of models. We recast contamination as a violation of anchor-item invariance and measure it through the differential functioning of original versus semantically equivalent paraphrased items, a within-item contrast that holds the measured skill fixed and isolates memorization from capability. Using per-instance responses from 47 publicly released models and 74 models finetuned with a known dose of contamination, across four benchmarks (ARC, GSM8K, HellaSwag, MMLU), we first calibrate the measure against ground truth: it recovers injected contamination dose-responsively (a corrected effect of +0.187 accuracy points for test-set leakage) and never flags a negative-control model trained only on the legitimate training split (-0.012). We then quantify leaderboard impact: the rank correlation between a standard leaderboard and a paraphrase-controlled leaderboard is 0.997, and a sensitivity analysis shows that the observed differential contamination is far below the level needed to move rankings, with only 3 of 188 model-by-benchmark cases showing differential contamination corroborated across two references. Contamination among these public models is therefore largely uniform: it inflates absolute scores without reordering the leaderboard, and ranking distortion requires the rare case of differential contamination. We provide a calibrated invariance audit, released as a reference implementation, and recommend that leaderboards report paraphrase-controlled rankings alongside confidence intervals.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.02899v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.