동료 평가는 정말 하락세인가? 학회 및 시기에 걸친 리뷰 품질 분석
Is Peer Review Really in Decline? Analyzing Review Quality across Venues and Time
동료 평가(peer review)는 현대 과학의 핵심입니다. 논문 제출 수가 증가하고 연구 커뮤니티가 성장함에 따라, 리뷰 품질의 저하는 널리 퍼진 통념이자 공통의 우려가 되었습니다. 하지만 이것이 사실일까요? 리뷰 품질은 측정하기 어려우며, 지속적으로 진화하는 심사 관행으로 인해 학회와 시기에 걸쳐 리뷰를 비교하기가 어렵습니다. 이를 해결하기 위해, 우리는 증거 기반의 리뷰 품질 비교 연구를 위한 새로운 프레임워크를 도입하고 이를 ICLR, NeurIPS, *ACL 등 주요 AI 및 머신러닝 학회에 적용합니다. 우리는 리뷰 형식의 다양성을 기록하고 리뷰 표준화를 위한 새로운 접근법을 소개합니다. 또한 에디터와 저자에 대한 유용성(utility) 관점에서 리뷰 품질을 정량화하는 다차원 스키마를 제안하고, 이를 대규모 언어 모델(LLM) 기반 측정 및 경량 측정 방식과 결합합니다. 우리는 리뷰 품질 측정 지표 간의 관계와 시간 경과에 따른 변화를 연구합니다. 널리 퍼진 통념과 달리, 시계열 교차 분석 결과 학회 및 연도 전반에 걸쳐 중앙값 기준의 리뷰 품질이 일관되게 하락하지는 않았음이 드러났습니다. 우리는 대안적 설명을 제시하고, 향후 리뷰 품질에 관한 실증적 연구를 촉진하기 위한 권장 사항을 요약합니다.