같은 논문, 다른 판정: LLM 동료 심사의 버전별 변화 추적하기
Same Papers, Different Verdicts: Tracing Version Drift in LLM Peer Review
한국어 초록
학회와 벤치마크는 대규모 언어 모델(LLM)의 심사 점수를 논문의 평가값으로 사용하지만, 모델 공급업체는 몇 달 만에 모델을 교체한다. 본 연구는 심사 중인 ICLR 2027 투고 논문에 OpenAI, Google, Anthropic의 최첨단 모델 20개를 적용해 점검했다. 검정은 채택 결정 전에 등록했다. Claude Opus와 Gemini의 이전 버전과 이후 버전을 비교했을 때, 무작위로 뽑은 투고 논문 183편과 60편에서 채택으로 분류한 비율이 각각 52%포인트와 53%포인트 낮아졌다. 추가로 수행한 대응 비교 여섯 건에서는 43~79%포인트 낮아졌고, 어느 비교에서도 거절에서 채택으로 바뀐 논문은 없었다. 프롬프트에 채택률 30%를 명시해도 두 Opus 버전의 격차는 79%포인트였다. 점수를 제거한 심사 의견을 버전 사이에서 바꿔 넣으면, 이후 버전의 의견만으로도 채택 비율이 Opus에서 35%포인트, Gemini에서 51%포인트 낮아졌다. Opus는 제삼자 채점기를 사용해도 35%포인트 떨어졌고, 모든 기술적 지적을 보존하되 평가적 표현을 없애 다시 작성하면 24%포인트 떨어졌다. 논문 57편에서 Opus 4.6과 5.5의 백분위 순위 상관은 0.73이었지만, 채택 비율은 44%포인트 차이가 났다. 투고 논문 99~119편에서 모델 세 개가 자체 추정한 백분위는 세 번째 사람 심사자보다 나머지 두 사람 심사자와 더 강한 상관을 보였다. 차이의 점추정치는 0.17~0.21이었고, 95% 구간은 −0.04에서 +0.42 사이였다. 모델 20개가 한 심사 475건 중 473건은 점수가 2 또는 3이었다. 사람 심사에서는 72건 중 60건이었다. 이미 판정이 난 논문으로 후향 시험을 하면 모델이 기억에 의존할 수 있다. Claude Opus 5.5는 판정이 난 ICLR 2026 논문 27편의 제목만 보고 첫 저자를 틀림없이 맞혔다. Claude Opus 4.6은 알아본다고 답한 논문 11편 모두에 채택 판정을 내렸으며, 기댓값은 5편이었다. 따라서 LLM 심사 점수의 임계값은 모델 버전마다 사람의 결정과 대조해 검증해야 한다. ICLR 2027 결정과 대조하는 검정은 2026년 12월 16일에 이어서 수행할 예정이다.
원문 초록
Venues and benchmarks read LLM review scores as measurements of a paper, while providers replace their models within months. We audit twenty frontier models from OpenAI, Google and Anthropic on ICLR 2027 submissions while they were under review, with tests registered before the decisions. Between an earlier and a later version of Claude Opus and of Gemini, the share of papers placed on the accept side falls by 52 and 53 percentage points on 183 and 60 randomly drawn submissions, and by 43 to 79 points in six further paired comparisons, with no paper moving up in any of them. Stating a 30% acceptance rate in the prompt leaves a gap of 79 points between the two Opus versions. When score-stripped critiques are swapped between versions, the later critiques alone lower the accept share by 35 points for Opus and 51 for Gemini; for Opus the drop is 35 points under a third-party scorer and 24 after a rewrite that keeps each technical point and removes evaluative wording. On 57 papers, the percentiles of Opus 4.6 and 5.5 correlate at 0.73 while their accept shares differ by 44 points. On 99 to 119 submissions, the self-estimated percentiles of three models correlate with two human reviewers more strongly than a third reviewer does (point estimates 0.17 to 0.21, 95% intervals between -0.04 and +0.42). All twenty models give a 2 or a 3 in 473 of their 475 reviews, against 60 of 72 human reviews. Retrospective tests on decided papers can draw on memory. Claude Opus 5.5 names the true first author of 27 decided ICLR 2026 papers from their titles alone, with no wrong name, and Claude Opus 4.6 accepted all 11 decided papers it said it recognized, against 5 expected. Thresholds on LLM-reviewer scores therefore have to be validated against human decisions for each model version; our tests against the ICLR 2027 decisions follow on 16 December 2026.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
19 pages, 5 figures. Results of the registered tests that need the ICLR 2027 decisions will be added after 16 December 2026