arXiv:2609.22512v1 cs.AI

일치가 증거를 과장한다: LLM 판사 합의에서의 오류 의존성

Agreement Overstates Evidence: Error Dependence in LLM Judge Consensus

Elias Hossain, Niloofar Yousefi, Ser-Nam Lim

제출 2026-09-22

한국어 초록

대규모 언어 모델(LLM) 판사 간의 합의는 종종 결정이 올바르다는 강력한 증거로 받아들여집니다. 이는 판사들이 독립적으로 오류를 범한다고 가정합니다. 실제로 LLM 판사들은 종종 유사한 방식으로 학습(training)되고 평가(evaluation)되므로 동일한 실수를 저지를 수 있습니다. 본 연구에서는 이러한 의존성이 합의의 신뢰성에 어떤 영향을 미치는지 살펴봅니다. 연구 결과, 오픈 가중치(open-weight) 판사와 프론티어(frontier) LLM 판사 모두에서 상당한 오류 상관관계가 있음을 발견했습니다. 10명의 판사로 구성된 주요 그룹에서 판사 오류 간의 평균 쌍별 상관관계는 0.21이었습니다. 그 결과, 10명의 판사는 약 3.5명의 독립적인 판사에 해당하는 통계적 정보만을 제공합니다. 이러한 의존성은 서로 다른 제공업체의 판사를 포함하여 본 연구에서 평가한 높은 정확도의 프론티어 판사들 사이에서 훨씬 더 강하게 나타납니다. 비교의 최대 28%에서 공유된 오류를 무시하면 한 시스템이 유의미하게 더 낫다는 결론에 이르는 반면, 이를 고려하면 그렇지 않았습니다. 또한 오류의 패턴이 중요하다는 점도 확인했습니다. 대부분의 판사가 공유하는 오류와 더 작은 집단에 집중된 오류는 합의에 서로 다른 영향을 미치며 서로 다른 투표 방식을 선호하게 만듭니다. 따라서 전반적인 상관관계의 양만 측정하는 것으로는 불충분합니다. 본 연구 결과는 간단한 접근법을 제안합니다. 신뢰할 수 있는 소규모 예제 집합을 사용하여 판사의 정확도를 추정하고 공유된 실수를 식별하는 것입니다. 그런 다음 결과를 분석할 때 이러한 공유된 오류를 고려해야 하며, 투표 방식은 새로운 데이터에 적용하기 전에 신뢰할 수 있는 예제를 사용하여 선택되어야 합니다.

원문 초록

Consensus among LLM judges is often taken as strong evidence that a decision is correct. This assumes that judges make their errors independently. In practice, LLM judges are often trained and evaluated in similar ways, so they can make the same mistakes. We study how this dependency affects the reliability of consensus. We find substantial error correlation across both open-weight and frontier LLM judges. In our main bank of ten judges, the average pairwise correlation between judge errors is 0.21. As a result, the ten judges only provide roughly as much statistical information as 3.5 independent judges. The dependency is even stronger among the high-accuracy frontier judges we evaluate, including judges from different providers. In up to 28% of our comparisons, ignoring shared errors leads to the conclusion that one system is significantly better, while accounting for them does not. We also find that the pattern of errors matters. Errors shared by most judges and errors concentrated among a smaller group affect consensus differently and favor different voting methods. Measuring the overall amount of correlation alone is therefore insufficient. Our results suggest a simple approach: use a small set of trusted examples to estimate judge accuracy and identify shared mistakes. These shared errors should then be considered when analyzing the results, and the voting method should be chosen using trusted examples before it is applied to new data.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.22512v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15993v1cs.AI공통 태그 Benchmarking, Model Selection, Large Language Model

핸드오프 곡선: 멀티턴 LLM 라우팅에서의 초기 선택, 사후 핸드오프 및 지도 타깃

Handoff Curves: Initial Selection, Later Handoff, and Supervision Targets in Multi-turn LLM Routing

본 연구에서는 여러 턴(turn)에 걸친 대규모 언어 모델(LLM) 태스크에서 초기 모델(model) 선택, 사후 핸드오프(handoff), 그리고 학습(training) 타깃이 성공률과 비용에 미치는 영향을 연구합니다. 핸드오프 단계 변화에 따른 태스크 성공률과 비용을 기록하는 핸드오프 곡선을 활용하여 여러 라우터 아키텍처를 비교합니다. 연구진이 구축한 데이터셋(dataset)은 BFCL, MultiWOZ, $τ$-retail 전반에 걸친 3개 Qwen 모델의 34,204건의 완전한 실행 기록을 포함하며, 라우팅 결정을 위한 오프라인 지도 정보를 제공합니다. 주요 비교 분석에서 Qwen3.5 35B-A3B를 시작 모델로 사용했을 때, 사후 핸드오프를 허용하는 것은 BFCL 또는 MultiWOZ에서 초기 선택 대비 효용 개선을 보이지 못했으며 다양한 비용 가중치 범위에 걸쳐 BFCL에서 비용을 증가시켰습니다. 지도 타깃을 변경하면 자체 데이터셋과 TwinRouterBench 모두에서 라우터 성능이 향상됩니다. 자체 데이터셋의 경우 노이즈가 있는 학습 성공 곡선을 단조 적합(monotone fit)으로 대체함으로써 보고된 작동 지점 전반에 걸쳐 동일한 비용에서 성공률이 0.2~4.1%포인트 향상되었습니다. TwinRouterBench에서는 남은 작업 및 앞으로 닥칠 어려운 단계에 필요한 모델 성능을 기술하는 타깃을 구성했습니다. 벤치마크의 단계별 라벨로 학습하는 것과 비교하여, 이러한 타깃은 전체 정적 뱅크에서 궤적 통과 점수를 7.8%포인트, 비용 절감 효과를 6.3%포인트 높였습니다. 이 타깃으로 학습된 라우터의 실제 배포에서는 인스턴스당 0.59달러의 라우터 비용으로 100개 인스턴스 중 79개를 해결했습니다.

arXiv:2610.02267v1cs.AI공통 태그 Benchmarking, Model Selection, Large Language Model

빠른 모델, 느린 증거: LLM 에이전트 하네스를 위한 시스템 1 의사결정 모델의 쌍체 및 자체 감사 평가

Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses

에이전트 하네스는 작업당 여러 가지 작고 정형화된 결정을 내립니다. 어떤 모델을 호출할지, 어떤 도구를 사용할지, 검색된 텍스트가 관련성이 있는지, 입력에 인젝션 공격이 포함되어 있는지 등이 이에 해당합니다. 시스템 1(System-1) 의사결정 모델은 클래스 확률을 통해 단 한 번의 순전파(forward pass)만으로 이러한 질문에 답하므로 대규모 언어 모델(LLM) 호출 대비 비용과 지연 시간을 대폭 절감할 수 있을 것으로 기대됩니다. 본 연구에서는 18개 공개 소스로부터 구축된 11개 에이전트 결정 지점에 대해 오픈 가중치 모델(Laya)과 호스팅 모델(Jev) 시스템 1 모델의 쌍체 평가(paired evaluation)를 제시합니다. 이는 바이트 단위로 동일한 입력, 쌍체 검정, 하드웨어 간 및 일자 간 재현성 검증을 거친 7,283개의 기본 케이스와 6,640개의 견고성 변형 케이스를 포함합니다. Jev는 11개 결정 지점 중 9개에서 유의미하게 더 높은 정확도를 보였습니다(+10.8 ~ +46.0%p). 제로샷(zero-shot) 모델 라우팅에서는 두 모델 모두 무작위 확률을 넘어서지 못했으며, 검색-증강 생성(RAG) 관련성 게이팅에서는 동률을 기록했습니다. Laya는 선택지 순서가 뒤바뀌었을 때 답변의 30%를 바꾸었으며, 후보 수가 많거나 유사할 때 성능이 급격히 저하되었습니다(정답 도구가 유일한 항목에서 Jev가 98%를 기록한 반면, Laya는 50개 최근접 이웃 도구 조건에서 31% 기록). 또한 본 연구에서는 자체 파이프라인에 대한 감사도 수행했습니다. 세 가지 분석 오류와 한 가지 설계 혼란 변수가 주요 배포 관련 주장을 왜곡했습니다. 즉, 생략된 사전 스크리닝 비용(보고된 23.9% 절감, 실제로는 4.3%), 엔드투엔드 품질로 보고된 게이트 정확도(58% 대 98%), 표본 내 임계값(목표치 5%, 미학습 검증 데이터 누락률 최대 17%), 그리고 채널 고유 콘텐츠 환경에서는 사라지는 인젝션 오탐(false positive)에 대한 "채널 효과"가 확인되었습니다. 다른 두 가지 의심된 혼란 변수는 결론을 바꾸지 않았습니다. 모든 케이스, 원시 출력 및 분석 코드는 https://github.com/David-DL-Space/sys1-eval 에서 확인할 수 있습니다.

arXiv:2610.02762v1cs.AI공통 태그 Benchmarking, Model Selection, Large Language Model

동적 LLM 라우터는 종종 잘못 유도된다

Dynamic LLM Routers are Often Misguided

동적 대규모 언어 모델(LLM) 라우터는 각 질의를 올바르게 답변할 수 있는 가장 저렴한 모델로 보내 추론(inference) 비용을 절감할 수 있을 것으로 기대됩니다. 본 연구에서는 8개 작업 범주를 아우르는 다양한 벤치마크를 기반으로 14개 설정에서 6개의 상용 라우터를 분석하였으며, 그 어떤 라우터도 동일한 비용 조건에서 잘 선택된 두 모델 중 하나를 무작위로 선택하는 라우터보다 우수한 성능을 내지 못함을 확인했습니다. 일부 라우터는 성능이 10%p 이상 낮았습니다. 연구진은 이러한 격차의 원인을 라우터 전반에서 만연한 네 가지 패턴, 즉 난이도 맹목성(difficulty blindness), 길이 역전(length reversal), 의미적 매칭(semantic matching), 명단(roster)의 비최적성으로 추적했습니다. 본 연구는 앞의 세 가지 패턴이 표준 목적 함수가 보상하는 바임을 보여줍니다. 즉, 실현된 비용에 기반한 비용-정확도 파레토 효율성은 가장 어려운 질의보다 적당히 어려운 질의를, 긴 질의보다 짧은 질의를 더 상위 모델로 전달(escalate)하도록 유도하며, 질의의 난이도보다는 출처에 따라 라우팅하도록 만듭니다. 또한 대규모 모델 명단을 정당화하는 두 가지 가정인 모델 세분성(granularity)과 모델 전문화(specialization)가 실증적으로 성립하지 않는다고 주장합니다. 연구진은 이러한 패턴에 보상을 주지 않는 대안 평가 방법론을 제안하고, 개념 증명(proof of concept)으로서 이 네 가지 패턴을 모두 피하는 단순한 2개 모델 라우터를 설계했습니다. 그럼에도 불구하고 잘 구성된 모델 명단에서는 라우팅할 여지가 거의 남지 않기 때문에, 무작위 라우팅 대비 성능 향상은 제한적입니다.

arXiv:2610.10942v2cs.AI공통 태그 Benchmarking, Large Language Model

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.