arXiv:2608.07641v1 cs.CL

SurveyReview: 리뷰어 정렬 서베이 평가 벤치마크

SurveyReview: A Reviewer-Aligned Benchmark for Survey Evaluators

Yuheng Zhang, Yuanchun Wang, Fanjin Zhang, Ruyu Zhao, Juanzi Li, Jie Tang, Jing Zhang

제출 2026-08-07

한국어 초록

대규모 언어 모델(LLM)의 급속한 발전으로 서베이(survey) 작성은 수개월에 걸치던 수작업에서 자동화된 과정으로 바뀌었다. 생성 규모가 커질수록 신뢰할 수 있는 평가가 병목이 되며, LLM이 서베이 평가자로 점점 더 많이 쓰인다. 그러나 기존 접근은 대부분 인간 리뷰어와의 체계적 정렬 없이 상용 LLM-as-a-judge 방식에 의존하며, 인간 리뷰어와의 정렬을 정량화하는 체계적 프레임워크가 부족하다. 이 공백을 메우기 위해 우리는 서베이 평가를 위한 리뷰어 정렬 다차원 벤치마크 및 데이터셋인 SurveyReview를 제안한다. 675편의 서베이 논문과 1,630건의 리뷰 보고서를 수집·주석했다. 자유 형식 코멘트를 네 가지 차원 점수(가독성 Readability, 비판성 Criticalness, 포괄성 Comprehensiveness, 구조 Structure)와 뒷받침 근거로 변환해 실제 동료 심사(peer-review) 보고서를 구조화했다. 또한 자동 평가자와 인간 리뷰어 간 정렬을 측정하는 표준화된 train/test 분할과 평가 프로토콜을 공개한다. 벤치마크 검증을 위해 주석 데이터에 LoRA로 Qwen3-32B를 미세조정하고, 지식 집약적 차원에는 외부 지식을 보강한 강력한 기준선 평가자 SurveyAlign을 개발했다. 테스트 세트에서 SurveyAlign은 GPT-5.2 기반 프롬프트 심사 대비 리뷰어 정렬을 크게 개선하여, 네 차원 전체에서 평균 MSE를 2.28에서 1.38로, MAE를 1.15에서 0.69로 낮췄다. 기여는 두 가지다: (1) 서베이 심사를 위한 최초의 다차원·리뷰어 정렬 데이터셋과 재현 가능한 평가 프레임워크를 수립했고, (2) 인간 리뷰어와의 정렬을 크게 높인 강력한 기준선 평가자를 개발해 향후 연구의 경쟁적 참조점을 제공한다. 코드와 데이터는 https://surveyreview.github.io 에서 이용할 수 있다.

원문 초록

The rapid advancement of large language models has transformed survey writing from a months-long manual effort into an automated process. As generation scales, reliable evaluation becomes the bottleneck, and LLMs are increasingly used as survey evaluators. However, existing approaches largely rely on off-the-shelf LLM-as-a-judge methods without systematic alignment to human reviewers, and there remains a lack of systematic frameworks for quantifying alignment with human reviewers. To address this gap, we propose SurveyReview, a reviewer-aligned, multi-dimensional benchmark and dataset for survey evaluation. We collect and annotate 675 survey papers with 1,630 review reports. We structure authentic peer-review reports by converting free-form comments into four-dimensional scores (Readability, Criticalness, Comprehensiveness, Structure) paired with supporting rationales. We further release standardized train/test splits and an evaluation protocol to measure alignment between automatic evaluators and human reviewers. To validate the benchmark, we develop SurveyAlign, a strong baseline evaluator by fine-tuning Qwen3-32B with LoRA on our annotated data, augmented with external knowledge for knowledge-intensive dimensions. On the test set, SurveyAlign substantially improves reviewer alignment over prompt-based judging with GPT-5.2, reducing average MSE from 2.28 to 1.38 and MAE from 1.15 to 0.69 across all four dimensions. Our contributions are twofold: (1) we establish the first multi-dimensional, reviewer-aligned dataset with a reproducible evaluation framework for survey reviewing; (2) we develop a strong baseline evaluator that substantially improves alignment with human reviewers, providing a competitive reference for future research. Our code and data are available at https://surveyreview.github.io

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.07641v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.