arXiv:2608.00005v2 cs.CL

RubricReviewer: From Direct Critique to Rubric-Driven Review via Agentic Evidence Synthesis and Human-Aligned Generation

Shuyu Guo, Wenxiang Hu, Yuyue Zhao, Lun Zhou, Yougang Lyu, Xiaohui Yan, Zhaochun Ren

제출 2026-11-17

한국어 초록

주요 학술 대회의 동료 평가(peer review)는 전례 없는 논문 제출 압박에 직면해 있으며, 이는 대규모 언어 모델(LLM)을 심사 보조 도구로 활용하려는 동기를 부여하고 있습니다. 그러나 기존의 LLM 기반 리뷰어는 두 가지 구조적 한계를 안고 있습니다. 첫째, 원고를 리뷰로 직접 매핑하여 기본 루브릭(rubric)을 암묵적인 상태로 남겨두고 루브릭의 도출과 판단을 뒤얽히게 만듭니다. 둘째, 널리 사용되는 패러다임들은 각각 좋은 리뷰의 절반만을 포착합니다. 즉, 학습(training)이 필요 없는 에이전트(agent)는 광범위한 근거를 수집하지만 방향성이 결여된 비평을 생성하는 반면, 학습 기반 리뷰어는 인간의 변별력 있는 판단을 상속받으면서도 그에 수반되는 노이즈와 불균일한 커버리지까지 함께 물려받습니다. 본 논문에서는 두 가지 한계를 모두 해결하는 완전한 루브릭 기반 프레임워크인 RubricReviewer를 소개합니다. 이 프레임워크는 루브릭 생성을 명시적인 중간 단계로 만들어, 리뷰 생성과 최종 평가가 모두 논문 맞춤형 루브릭을 조건으로 수행되도록 합니다. 나아가 외부 근거를 수집하는 무학습 에이전트(Scout)와 이 근거를 활용하는 인간 정렬 학습 모델(Aligner)을 결합하여, 두 감독 소스의 강점을 융합합니다. 실제 제출 논문을 대상으로 한 실험 결과, RubricReviewer는 기존 시스템보다 현저히 더 포괄적이고 변별력 있는 리뷰를 생성하며, 적대적 프롬프트 주입(adversarial prompt-injection) 공격에 대해 가장 강력한 견고성을 보였습니다. 절제 연구(ablation study)를 통해서도 각 구성 요소의 필요성이 입증되었습니다.

원문 초록

Peer review at major venues is under unprecedented submission pressure, motivating the use of large language models (LLMs) as review assistants. Existing LLM-based reviewers, however, face two structural limitations. First, they map manuscripts directly to reviews, leaving the underlying rubric implicit and entangling its derivation with the judgement. Second, the prevailing paradigms each capture only half of a good review: training-free agents gather broad evidence but produce undirected critiques, while training-based reviewers inherit human discriminative judgement together with its noise and uneven coverage. We introduce RubricReviewer, a fully rubric-driven framework that addresses both limitations. It makes rubric generation an explicit intermediate step, so that both review generation and the final assessment are conditioned on paper-adaptive rubrics. It further combines a training-free agent (Scout) that gathers external evidence with a human-aligned trained model (Aligner) that consumes this evidence, fusing the strengths of both supervision sources. Experiments on real-world submissions show that RubricReviewer produces reviews that are markedly more comprehensive and more discriminative than prior systems, and exhibits the strongest robustness against adversarial prompt-injection attacks. Ablation studies further confirm the necessity of each component.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.00005v2제출 시각 미확인
  2. arXiv:2608.00005v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.