프로그램이 LLM 판정자를 대체할 수 있는가? 확장 가능하고 효율적인 관련성 레이블링을 위한 실행 가능한 프로그램 판정자
Can Programs Replace LLM Judges? Executable Program Judges for Scalable and Efficient Relevance Labeling
한국어 초록
거대 언어 모델(LLM) 판정자는 검색 평가를 위한 대규모 관련성 판정을 만드는 일반적인 방법이 되었다. 그러나 각 판정에는 비용이 많이 들 수 있는 프런티어 모델 호출이 필요하고, 판정은 해석하기 어려우며 재현되지 않을 수 있다. 본 논문에서는 LLM이 문서별 판정을 대체하는 읽기 쉬운 프로그램을 주제별로 작성할 수 있는지를 묻는다. 이러한 문제를 해결하기 위해 자동 관련성 레이블링을 위한 빠르고, 검사 가능하며, 확장 가능한 판정자를 생성하는 방법인 ExecJudges를 제안한다. 구체적으로 ExecJudges는 프런티어 LLM을 사용하여 평가 지침을 어휘 매칭, 파서와 같은 표준 NLP 라이브러리, 풀 통계에만 의존하는 실행 가능한 프로그램으로 변환한다. ExecJudges-L 변형은 사람의 레이블 예시가 있으면 이를 함께 사용한다. 우리는 생성된 레이블을 훈련된 NIST 평가자, 프런티어 LLM 판정자, 최근 제안된 주제별 분류기와 비교하여 일곱 개의 TREC 컬렉션에서 ExecJudges를 평가한다. 결과는 ExecJudges가 TREC DL 2019-2021에서 Claude Sonnet 5.5 LLM 판정자 수준으로 NIST 평가자와 일치함을 보여준다. 주제당 소수의 사람 레이블이 있을 때 ExecJudges-L 변형은 일곱 개 컬렉션 모두에서 동일한 레이블을 사용한 주제별 분류기보다 NIST와 더 높게 일치하며, 동일한 레이블을 제공받은 LLM 판정자의 일치도를 넘어서거나 Krippendorff의 alpha 기준으로 약 0.05 이내이다. 이 레이블은 공식 TREC DL 실행 결과를 Kendall의 tau 0.87~0.94로 순위화하며, 프로그램 작성에는 주제당 $0.17~$0.49의 일회성 비용이 들고 채점에는 추가 비용이 들지 않는다. 우리의 결과는 ExecJudges가 시스템 평가나 순위 개선을 위해 깊은 결과 풀에 레이블을 부여하는 데 있어 LLM 판정자에 대한 재현 가능하고, 검사 가능하며, 효율적이고, 비용 효과적인 대안임을 시사한다.
원문 초록
Large language model (LLM) judges have become a common way to create large-scale relevance judgments for retrieval evaluation. However, each judgment requires a potentially expensive call to a frontier model, and the judgments are hard to interpret and may not be reproducible. In this paper, we ask whether an LLM can write a readable program for each topic that replaces its per-document judgments. To address these issues, we propose ExecJudges, a method for generating fast, inspectable and scalable judges for automatic relevance labeling. Specifically, ExecJudges uses a frontier LLM to turn assessment guidelines into executable programs, which rely only on lexical matching, standard NLP libraries like parsers, and pool statistics. An ExecJudges-L variant also uses examples of human labels if available. We evaluate ExecJudges on seven TREC collections by comparing the produced labels with trained NIST assessors, frontier LLM judges, and recently proposed per-topic classifiers. Our results show that ExecJudges agrees with NIST assessors at the level of the Claude Sonnet 5.5 LLM judges on TREC DL 2019-2021. With a small number of human labels per topic, the ExecJudges-L variant agrees with NIST more than per-topic classifiers with the same labels on all seven collections, and either exceeds the agreement of LLM judges provided the same labels or is within about 0.05 of it in Krippendorff's alpha. The labels rank the official TREC DL runs with Kendall's tau of 0.87 to 0.94, and writing the programs incurs a one-time cost of $0.17 to $0.49 per topic, with no additional costs for grading. Our results suggest that ExecJudges offers a reproducible, inspectable, efficient and cost-effective alternative to LLM judges for labeling deep result pools for system evaluation or ranking improvements.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24849v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.