arXiv:2601.15172v2 cs.CL

동료 평가는 정말 하락세인가? 학회 및 시기에 걸친 리뷰 품질 분석

Is Peer Review Really in Decline? Analyzing Review Quality across Venues and Time

Ilia Kuznetsov, Rohan Nayak, Alla Rozovskaya, Iryna Gurevych

제출 2026-01-21

저자 비고

arXiv Comments

To appear in EMNLP-2026

한국어 초록

동료 평가(peer review)는 현대 과학의 핵심입니다. 논문 제출 수가 증가하고 연구 커뮤니티가 성장함에 따라, 리뷰 품질의 저하는 널리 퍼진 통념이자 공통의 우려가 되었습니다. 하지만 이것이 사실일까요? 리뷰 품질은 측정하기 어려우며, 지속적으로 진화하는 심사 관행으로 인해 학회와 시기에 걸쳐 리뷰를 비교하기가 어렵습니다. 이를 해결하기 위해, 우리는 증거 기반의 리뷰 품질 비교 연구를 위한 새로운 프레임워크를 도입하고 이를 ICLR, NeurIPS, *ACL 등 주요 AI 및 머신러닝 학회에 적용합니다. 우리는 리뷰 형식의 다양성을 기록하고 리뷰 표준화를 위한 새로운 접근법을 소개합니다. 또한 에디터와 저자에 대한 유용성(utility) 관점에서 리뷰 품질을 정량화하는 다차원 스키마를 제안하고, 이를 대규모 언어 모델(LLM) 기반 측정 및 경량 측정 방식과 결합합니다. 우리는 리뷰 품질 측정 지표 간의 관계와 시간 경과에 따른 변화를 연구합니다. 널리 퍼진 통념과 달리, 시계열 교차 분석 결과 학회 및 연도 전반에 걸쳐 중앙값 기준의 리뷰 품질이 일관되게 하락하지는 않았음이 드러났습니다. 우리는 대안적 설명을 제시하고, 향후 리뷰 품질에 관한 실증적 연구를 촉진하기 위한 권장 사항을 요약합니다.

원문 초록

Peer review is at the heart of modern science. As submission numbers rise and research communities grow, the decline in review quality is a popular narrative and a common concern. Yet, is it true? Review quality is difficult to measure, and the ongoing evolution of reviewing practices makes it hard to compare reviews across venues and time. To address this, we introduce a new framework for evidence-based comparative study of review quality and apply it to major AI and machine learning conferences: ICLR, NeurIPS and *ACL. We document the diversity of review formats and introduce a new approach to review standardization. We propose a multi-dimensional schema for quantifying review quality as utility to editors and authors, coupled with both LLM-based and lightweight measurements. We study the relationships between measurements of review quality, and its evolution over time. Contradicting the popular narrative, our cross-temporal analysis reveals no consistent decline in median review quality across venues and years. We propose alternative explanations, and outline recommendations to facilitate future empirical studies of review quality.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2601.15172v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.10511v1cs.CL공통 태그 llm-as-a-judge, peer review

명료한 직관인가, 진정한 분석인가? LLM-as-a-Judge 동료 심사에서의 인식론적 신뢰성 벤치마킹

Articulate Intuition or Genuine Analysis? Benchmarking Epistemic Reliability in LLM-as-a-Judge Peer Reviews

LLM 심사자가 동료 심사를 분석적이라고 평가하고 인간 위원회가 다른 심사를 고품질이라고 평가할 때, 이들은 동일한 것을 측정하고 있는가? 우리는 그렇지 않다고 주장하며, 그 차이가 철학적으로 중요하다고 본다. 우리는 카네만(Kahneman)의 이중 처리 이론(dual-process theory)을 동료 심사를 위한 구조화된 루브릭으로 구체화하고, 9개의 이론적으로 동기화된 텍스트 차원, 8개의 바이어스 진단, 그리고 연속적인 추론 품질 점수에 따라 평가된 3,563개의 심사 리뷰로 구성된 벤치마크 Kahneman4Review를 공개한다. 신뢰성과 관련하여 세 가지 발견이 있다: 결정 등급(decision tier)은 루브릭의 텍스트 기반 인식론적 품질 프록시와 감지 가능한 수준으로 정렬되어 있지 않으며; 공개 전시용 에이전트(agentic) 심사는 취합된 인간 심사보다 높은 원점수를 받지만, 길이와 게재지가 격차의 대부분을 설명하고 샘플은 논문 단위로 쌍을 이루지 않는다; 그리고 ICLR 심사 텍스트 진단은 2022-2023년 전환 시점에서 변화하는데, 이는 대규모 언어 모델(LLM)의 광범위한 보급과 시간적으로 일치하지만 그 원인을 특정하지는 않는다. 매칭된 기능 프로브(function-probe) 파일럿 실험은 또한 루브릭이 진정한 결함 발견과 표면적 유창성을 대비하도록 설계된 텍스트 프로브를 구별함을 보여준다. 우리는 LLM 심사자를 위한 신뢰할 수 있는 신뢰성 벤치마크가 분석적 형식을 인식론적 기능으로부터 분리해야 한다고 주장하며, 그 목표를 향한 구체적인 설계 방향을 제안한다. 인터랙티브 데모는 https://huggingface.co/spaces/nuojohnchen/Kahneman4Review 에서 이용 가능하다.

arXiv:2606.19544v2cs.CL공통 태그 llm-as-a-judge

타당성 없는 신뢰성: 일치, 일관성 및 바이어스에 걸친 LLM-as-a-Judge 모델의 체계적이고 대규모 평가

Reliability without Validity: A Systematic, Large-Scale Evaluation of LLM-as-a-Judge Models Across Agreement, Consistency, and Bias

LLM-as-a-Judge는 언어 모델의 지배적인 평가 패러다임이 되었지만, 실제 판사 검증은 우연을 보정하지 않고 식별 능력을 체계적으로 과대평가하는 지표인 정확 일치에 의존합니다. 우리는 지금까지 가장 큰 규모의 LLM-as-a-Judge 체계적 평가를 제시합니다: MT-Bench, JudgeBench 및 RewardBench에 걸쳐 9개 제공업체의 21개 판사 모델을 대상으로 3가지 프로토콜(일치, 일관성, 바이어스 감사)하에 118번의 실행과 약 541,000개의 개별 판단을 통해 평가했습니다. 2026년 4월 최첨단 모델을 포함한 전체 집단에 걸쳐 일관된 4가지 결과가 도출되었습니다: 정확 일치와 Cohen's 카파 간의 카파 감소는 보편적이며(MT-Bench에서 33~41%p), 벤치마크 간 판사 순위는 최대 14계단까지 변동합니다. 실제 배포된 두 판사 모델에서 높은 검사-재검사 신뢰도(>0.95)가 심각한 위치 바이어스(>0.10)와 공존하며(일관성-바이어스 역설을 나타냄), 단일 쌍대 비교 루브릭 하에서 우리 집단 전체의 장황성 바이어스는 작습니다(<0.011). 우리는 이 내용을 최소 실행 가능 검증 프로토콜(Minimum Viable Validation Protocol)로 정리했습니다.

arXiv:2610.15938v1cs.AI공통 태그 llm-as-a-judge

사각지대의 해부학: LLM 판사에게 무엇을, 얼마나 보여주어야 하는가

The Anatomy of a Blind Spot: What an LLM Judge Must Be Shown, and How Much

대규모 언어 모델(LLM)이 생성한 텍스트에 대한 평가(evaluation)는 판사 역할을 하는 LLM에게 점점 더 많이 위임되고 있으나, 이러한 판사에게 무엇을 보여주어야 하는지는 여전히 해결되지 않은 문제로 남아 있습니다. 본 연구에서는 보고서가 실제로 반영되는 판사를 사이버네틱스(cybernetics) 관점의 조절기(regulator)로 취급하며, 판사에게 무엇을, 얼마나, 어떤 형태로 보여주어야 하는지, 그리고 판사의 보고서가 무엇을 정확히 짚어내야 하는지 질문을 던집니다. 7개의 공개 벤치마크(benchmark)에서 판사에게 보여주는 내용만을 다르게 구성하여 실험을 진행했습니다. 비용 차이가 10배에서 17배에 달하는 세 종류의 판사를 비교했을 때, 어떤 판사를 사용하느냐보다 판사에게 무엇을 보여주느냐가 더 중요했습니다. 준수해야 할 자료를 보지 못한 판사의 피드백을 바탕으로 시스템이 답변을 수정했을 때, 인스트럭션 준수(instruction following) 및 질의응답(question answering) 성능은 시작 지점보다 더 낮아졌습니다. 인스트럭션 준수의 경우 라운드가 거듭될수록 손실이 증가했으며, 판사가 제약 조건은 보지 못한 채 사용자의 요청만 보았을 때나 두 번째 판사 모델군을 사용했을 때도 이러한 현상이 지속되었습니다. 뉴스 요약 과업에서는 원문과 함께 올바른 참조 요약(reference summary)을 제공했을 때 원문이 기여하는 바가 대부분 상쇄되었으나, 단일 답변 질문에서는 참조가 도움이 되었습니다. 원문의 약 10분의 1 수준만으로도 거의 전체 역할을 수행했으며, 소규모 함의 그래프(entailment graph)는 그라운딩(grounding)된 텍스트에서 오류를 찾아내는 데 있어 LLM 판사와 대등한 성능을 보였습니다. 실험 실행 전 83개의 검증 가능한 조항을 사전에 확정했으며, 실행된 81개 중 32개가 기준을 충족했고 50개는 예측된 방향으로 전개되었으나, 이론 기반의 정량적 예측은 대부분 빗나갔습니다. 본 논문에서는 모든 미흡한 점을 빠짐없이 보고하고 측정된 효과에 기반한 설계 규칙을 도출합니다.

arXiv:2610.06591v2cs.AI공통 태그 peer review

심사 로또: 동료 평가 노이즈에 대한 관측 기반 추정기 벤치마킹 (ICLR 2017-2025)

The Review Lottery: Benchmarking an Observational Estimator of Peer-Review Noise (ICLR 2017-2025)

동일한 논문을 다른 심사위원단이 평가한다면 학술대회 채택/탈락 결정은 얼마나 달라질까요? 두 번째 독립적인 프로그램 위원회를 운영하는 것이 이에 답하기 위한 최적의 표준(gold standard)이지만, 이는 비용이 과도하게 많이 들어 단 두 번(NeurIPS 2014 및 2021)만 진행되었습니다. 본 연구에서는 공개 심사 데이터만을 활용하여 이 수치에 대한 관측 기반 추정기를 구축하고, 두 차례 캘리브레이션을 거친 뒤 9년간의 ICLR(2017-2025; 논문 36,113편, 리뷰 134,912건) 데이터에 적용합니다. 이 추정기는 베이즈 순서화 프로빗 모델(Bayesian ordered-probit model)을 통해 점수를 논문 품질과 심사위원 노이즈로 분해하고, 로지스틱 모델로 점수를 최종 결정에 매핑하며, 두 개의 독립적인 위원회를 시뮬레이션합니다(사후 표본 추출 B=1,000; 위원회 크기 k=2,3,4). 추정된 불일치율은 k=2일 때 23-30%, k=4일 때 18-24%이며, 채택된 논문의 30-50%는 탈락될 수 있는 것으로 나타났습니다. 외부 캘리브레이션 결과, NeurIPS 2021 심사위원 수 기준(k=3)에서 시뮬레이션된 2021년 불일치율은 23.3% [21.7%, 25.0%]로 보고된 23.0%와 유사했습니다(바이어스 +0.3%p). 채택 정밀도와 위원회 간 상관관계 또한 각각 5%p 및 0.04 이내로 일치했습니다. 내부 캘리브레이션에서는 4개 이상의 리뷰가 있는 18,740편의 논문에 대해 모델을 배제한 무작위 2+2 심사위원 분할 결과가 2018년 및 2021-2025년의 k=2 시뮬레이션과 1%p 이내로 일치함을 확인했습니다. 시계열 분석상 2017-2025년 동안 심사위원 노이즈에서 뚜렷한 시간적 추세는 발견되지 않았습니다. 2020년과 2021년의 높은 채택 논문 번복률은 서로 다른 메커니즘을 가집니다. 2020년의 4점 척도는 점수를 압축시켰으며(논문의 23.7%가 논문 내 분산 0을 기록), 반사실적 분석에 따르면 척도를 단순화할 경우 불일치가 약 7%p 증가하는 것으로 나타났습니다. 반면 2021년은 표본 내 최저 신호 대 잡음비(SNR)와 임계값 부근에 가장 밀집된 채택 분포가 결합된 결과였습니다. 대규모 언어 모델(LLM) 시대와 관련하여, 논문 내 점수 분산에 대한 2023년 구조 변화 검정(breakpoint test)에서는 변화가 발견되지 않았으나, 해당 설계는 검정력이 거의 없으며 2022년 이후의 리뷰 텍스트나 확신도(confidence) 데이터가 존재하지 않아 LLM으로 인한 영향 귀인은 시도하지 않았습니다.

arXiv:2610.11087v1cs.AI공통 태그 peer review

모방을 넘어서: LLM 지원 피어 리뷰를 위한 프레임워크와 벤치마크

Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review

과학 출판물의 급속한 증가는 특히 머신러닝 분야에서 피어 리뷰(peer review)에 부담을 가중시켰으며, 이는 리뷰 품질 저하와 리뷰어 업무량 증가에 대한 우려를 낳고 있다. 대규모 언어 모델(LLM)이 자동화된 리뷰 보조 도구로 제안되어 왔지만, 그 평가는 피어 리뷰의 핵심 기능을 지원하는 것보다는 인간이 작성한 리뷰를 모방하는 데 주로 초점을 맞춰왔다. 본 연구에서는 오류 탐지를 중요하고 자원 집약적인 과제로 강조하며, LLM 지원 피어 리뷰에 대한 검증 중심의 관점을 제시한다. 우리는 학술대회 논문에 오류를 합성적으로 삽입하여 구축한, 리뷰 시스템의 논리적 모순 식별 능력을 평가하는 확장 가능한 벤치마크를 제시하며, 이는 명확한 평가 목표를 제공하고 체계적인 비교를 가능하게 한다. 또한 우리는 리뷰 생성에 앞서 원고에 대한 상세한 이해를 우선시하는 다층 리뷰(Multi-Layered Review, MLR) 프레임워크를 제안하며, 이는 인간의 리뷰 관행에 더 가깝게 부합하면서도 토큰 효율성을 향상시킨다. 전반적인 평가에서 우리의 접근법은 인간 리뷰 점수와의 높은 정합성을 보여주고, 높은 오류 탐지 성능을 달성하며, 리뷰어의 초점에 대한 상호 보완적인 관점을 제공한다. 이러한 개선은 기반 LLM의 선택과 시스템 설계 모두에 기인할 수 있다. 동시에, 우리는 적대적 조작(adversarial manipulation)에 대한 지속적인 취약성을 확인하였으며, 이는 자동화된 리뷰 시스템에서 강건성(robustness)이 필요함을 강조한다. 본 연구의 결과는 피어 리뷰 및 기타 중요한 과학적 워크플로우에서 LLM 기반 도구의 책임 있는 배포를 이끌기 위해 엄격하고 오류 중심적인 평가가 중요함을 보여준다.

arXiv:2604.17260v3cs.CL공통 태그 llm-as-a-judge

회의 효과성에 대한 재고: 시간적으로 세분화된 자동 회의 효과성 평가를 위한 벤치마크 및 프레임워크

Rethinking Meeting Effectiveness: A Benchmark and Framework for Temporal Fine-grained Automatic Meeting Effectiveness Evaluation

회의 효과성 평가는 조직의 생산성을 향상하는 데 매우 중요합니다. 기존 접근 방식은 회의 전체에 대해 단일한 거친(coarse-grained) 점수를 산출하는 사후 설문조사에 의존합니다. 이러한 수동 평가에 대한 의존은 확장성, 비용, 재현성 측면에서 본질적으로 한계가 있습니다. 게다가 단일 점수는 협업 논의의 역동적인 특성을 포착하지 못합니다. 본 논문에서는 새로운 기준과 시간적으로 세분화된(temporal fine-grained) 접근 방식을 중심으로 회의 효과성을 평가하는 새로운 패러다임을 제안합니다. 효과성을 시간에 따른 목표 달성률로 정의하고, 회의 내 개별 주제 세그먼트별로 이를 평가합니다. 이 태스크를 지원하기 위해, 130개의 AMI Corpus 회의에서 사람이 직접 주석을 단 2,459개의 세그먼트를 포함하는 새로운 메타 평가 데이터셋인 AMI Meeting Effectiveness(AMI-ME) 데이터셋을 소개합니다. 또한 대규모 언어 모델(LLM)을 판정관(judge)으로 사용하여 전체 회의 목표 대비 각 세그먼트의 효과성을 점수화하는 자동 효과성 평가 프레임워크를 개발합니다. 광범위한 실험을 통해 이 새로운 태스크를 위한 종합적인 벤치마크를 구축하고, 비즈니스 시나리오부터 비정형 토론에 이르기까지 다양한 회의 유형 전반에서 프레임워크의 일반화 가능성을 평가합니다. 나아가 완전한 시스템의 역량을 측정하기 위해 원시 음성(raw speech)에서 시작하는 엔드투엔드 성능을 벤치마킹합니다. 본 연구의 결과는 프레임워크의 유효성을 검증하며, 회의 분석 및 다자간 대화 연구를 촉진할 강력한 베이스라인을 제공합니다. 데이터셋과 코드는 공개될 예정입니다. AMI-ME 데이터셋과 자동 평가 프레임워크는 https://github.com/ku-nlp/AMI-ME 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.