arXiv:2606.01629v4 cs.CL

장문 출력 평가를 위한 LLM-as-a-Judge 벤치마킹

Benchmarking LLM-as-a-Judge for Long-Form Output Evaluation

Junjie Chen, Yuxi Dong, Haitao Li, Weihang Su, Yujia Zhou, Min Zhang, Yiqun Liu, Qingyao Ai

제출 2026-06-01

한국어 초록

대규모 언어 모델(LLM)이 장문 생성에 점점 더 많이 쓰이면서, 장문 출력을 신뢰할 수 있게 평가하는 일은 중요한 과제가 되었다. LLM-as-a-judge는 인간 평가에 대한 확장 가능한 대안을 제공하지만, 장문 출력 평가에서의 신뢰성은 아직 충분히 검토되지 않았다. 기존 메타 평가(meta-evaluation) 벤치마크는 주로 단문(short-form) 출력에 초점을 맞춘다. 단문 평가와 비교하면, 장문 평가는 단순히 출력 길이의 문제가 아니며, 종종 판정자(judge)가 전체 구성, 과제 관련 범위와 깊이, 섹션 간 일관성, 시나리오별 품질 기준에 대한 더 복잡한 문서 수준 평가를 해야 한다. 본 연구에서는 다양한 실제 시나리오와 판정 프로토콜에 걸친 장문 출력에 대한 LLM 판정자 평가를 위한 포괄적 벤치마크인 LongJudgeBench를 제안한다. 여러 베이스 모델과 판정 설정을 아우르는 폭넓은 LLM 판정자들을 체계적으로 평가하였다. 결과는 상당한 신뢰성 격차를 보여준다. 현재 LLM 판정자는 시나리오 간 불안정하며, rubric(평가 기준)이나 참조(reference)는 도움이 되지만 항상 충분하지는 않다. LongJudgeBench가 더 견고하고 문맥 인지적이며 사람과 정렬(alignment)된 LLM-as-a-judge 방법에 대한 후속 연구를 지원하기를 바란다. 코드는 https://github.com/cjj826/LongJudgeBench 에서 이용할 수 있다.

원문 초록

As large language models (LLMs) are increasingly used for long-form generation, reliably evaluating long-form outputs has become a critical challenge. LLM-as-a-judge offers a scalable alternative to human evaluation, yet its reliability in long-form output evaluation remains underexamined: existing meta-evaluation benchmarks focus mainly on short-form outputs. Compared with short-form evaluation, long-form evaluation is not merely a matter of output length; it often requires judges to make more complex document-level assessments of overall organization, task-relevant coverage and depth, cross-section consistency, and scenario-specific quality criteria. In this work, we introduce LongJudgeBench, a comprehensive benchmark for evaluating LLM judges on long-form outputs across diverse real-world scenarios and judging protocols. We systematically evaluate a broad range of LLM judges, covering multiple base models and judging settings. Our results reveal a substantial reliability gap: current LLM judges remain unstable across scenarios, and rubrics or references are helpful but not always sufficient. We hope LongJudgeBench will support future research on more robust, context-aware, and human-aligned LLM-as-a-judge methods. Our code is available at https://github.com/cjj826/LongJudgeBench.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.01629v4제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.