Qwen3-8B reviewing Llama-3.1-8B in math adds 33.2 points, yet Qwen3-8B alone is 6.4 points more accurate than the result. Reviewing another model's answer is usually judged by its gain over the generator. We show that this confuses verification, which adds accuracy beyond either model alone, with capability transfer, where a stronger reviewer supplies answers it could have given on its own. Measured against the stronger model alone, across 48 pairs of 12 open-weight models (3B to 72B) in math, knowledge, code and reasoning, review beats it in only 9 of 96 review directions, and does worse the larger the capability gap. The reason is anchoring: the reviewer mostly follows the generator, discarding its own correct answers. Review costs 2.6 to 2.8 times as much as the stronger model alone, while a selector using the same two calls is 2.7 to 4.2 points more accurate than review and cheaper. Studies of verification should report the stronger model alone, not only the gain over the generator.
대규모 언어 모델(LLM)이 다단계 추론(multi-step reasoning)에 점점 더 많이 활용됨에 따라, 대규모 환경에서 신뢰성을 유지하기 위해 출력의 정확성을 검증하는 것이 필수가 되었습니다. 대규모 언어 모델 출력의 정확성 검증은 주로 많은 비용이 드는 정답 오라클(ground-truth oracle)에 질의하여 수행되지만, 온라인 환경에서 매 단계마다 이를 호출하는 것은 비현실적입니다. 기존 연구에서는 매 단계마다 단일 약한 검증기(weak verifier)에 질의하고, 그 점수를 활용해 비용이 많이 드는 강력한 검증기에도 질의할지 여부를 결정함으로써, 소수의 단계에서만 강력한 검증을 수행하도록 하여 이 문제를 해결했습니다. 그러나 유입되는 쿼리의 주제나 난이도가 시간에 따라 변함에 따라 단일 고정 약한 검증기는 일관되게 우수한 성능을 내지 못할 수 있으며, 사전에 하나를 정해두는 것은 지나치게 많은 비용이 들거나 부정확한 검증으로 이어질 위험이 있습니다. 본 논문에서는 비용과 검증 성능이 서로 다른 $K$개의 후보 약한 검증기 풀을 유지하고, 온라인 점수 결합기(online score combiner) 및 지수 가중치 라우팅 정책(exponential-weights routing policy)을 통해 선택된 검증기로 매 라운드의 결정을 적응형으로 라우팅하는 알고리즘인 OMVV(Online Multi-Verifier Verification)를 제안합니다. OMVV는 전체 검증기 풀에 걸쳐 위양성(false-accept) 및 위음성(false-reject) 비율에 대한 분포 무관(distribution-free) 유한 시간 보장을 제공하며, 비용과 일관성을 결합한 목적 함수 하에서 사후 최적의 고정 검증기 대비 준선형 리그릿(sublinear regret)을 추가로 달성합니다. 추론 데이터셋 벤치마크에 대한 실험 결과, OMVV는 다양한 운영 예산 범위 전반에서 단일 고정 검증기보다 더 낮은 검증 비용으로 더 높은 정확도를 달성함을 보여줍니다.
복잡한 추론 질의는 방향성 비순환 그래프(DAG) 형태의 태스크 그래프로 분해되어 이종 대규모 언어 모델(LLM)에 분산될 수 있으며, 이를 통해 병렬 처리를 통한 지연 시간을 줄이고 더 작은 모델이 복잡한 태스크를 해결하도록 지원할 수 있습니다. 그러나 실제로는 주어진 서브태스크에 대한 특정 LLM의 적합성을 사전에 알 수 없을 수 있으며, 단순 실행만으로는 출력의 정확성을 파악할 수 없습니다. 본 논문에서는 실행기 LLM을 할당하는 동시에 유료 검증을 거칠 중간 출력을 함께 선택하는 온라인 프레임워크인 JOVE를 제안합니다. 검증은 비동기식으로 실행되며 향후 할당 결정을 개선하는 데 사용되므로, 시스템은 현재 실행에 드는 비용과 향후 학습을 위한 지출 사이의 균형을 유지해야 합니다. 본 연구에서는 확률적이며 초기에는 알려지지 않은 LLM 서비스 품질, 호출 비용 및 실행 시간 환경에서 장기 예산과 질의별 지연 시간 제약 조건 하에 이러한 트레이드오프를 최적화하는 방법을 연구합니다. JOVE는 질의별 일련의 혼합 정수 선형 계획법(MILP) 문제를 해결하여 실행 및 검증 결정을 내립니다. 온라인 학습은 검증 피드백을 기반으로 LLM 품질에 대한 태스크 의존적 추정치를 업데이트하며, 정보 이득 보너스를 통해 학습의 가치를 할당 결정에 반영합니다. 자연스러운 일련의 가정 하에 본 연구는 JOVE의 준선형(sublinear) 품질 학습 후회(regret)를 입증합니다. 4가지 추론 벤치마크 전반에서 JOVE는 표준 추론(inference) 베이스라인 대비 경쟁력 있는 정확도를 달성하는 동시에 평균 비용과 지연 시간을 최소 3.17배 단축합니다.
역할 특화 질의응답(QA) 파이프라인에서는 추론기(reasoner)에서 검증기(verifier)로 근거(rationale)를 전달하는 방식이 점차 늘어나고 있지만, 이러한 메시지가 실제로 가져다주는 이점(더 나은 답변, 더 강력한 근거 지지 평가, 혹은 새로운 실패 지점)이 무엇인지는 불분명합니다. 본 연구에서는 증거와 후보 답변을 고정한 채 추론기-검증기 경계를 가로질러 전달되는 근거만을 변경하는 메시지 개입 진단 방식을 도입합니다. DeepSeek을 생성기 및 검증기로 활용하여 MuSiQue, HotpotQA, 2WikiMultiHopQA의 400개 예제에 대해 실험한 결과, 충실한(faithful) 근거는 근거가 없는 경우 대비 답변 정확도를 거의 높이지 못하는 반면, 변조된 근거는 지지 여부 판단을 크게 왜곡하는 것으로 나타났습니다. 맹검 검증기 프롬프트(blind verifier prompt) 환경에서 무해한 환문(paraphrase)은 지지 여부를 0~2.5%만 변화시켰으나, 변조된 근거는 지지 여부를 10~22%나 변화시켰으며, 명시적인 근거 검증 프롬프트는 이러한 패턴을 34~55%까지 증폭시켰습니다. 최종 답변의 변화 폭은 이보다 작았으며(2~30%), 변조로 인해 지지 판단이 바뀐 경우 중 답변 변경이 함께 발생한 비율은 2.9~35.3%에 불과했습니다. 인간 평가(human audit)는 이러한 결과가 중요한 이유를 보여줍니다. 유효한 변조 사례 중 16/42건이 변조 과신(corruption-overtrust) 사례였으며, 블라인드 테스트에서 인간은 모델이 수용한 감사 대상 변조 근거 중 9/10건을 거부하거나 불명확하다고 표시했습니다. 교차 모델 및 작업 경계 점검을 통해 해당 통로가 언제 활성화되고, 증폭되며, 비활성화되거나 작업 라벨로 통합되는지 밝혔습니다. 따라서 근거 공유는 단순한 답변 정확도 향상 경로가 아니라, 검증 메시지 메커니즘 관점에서 평가되어야 합니다.
대규모 언어 모델(LLM)은 API 집계자, 재판매자, 추론(inference) 제공업체 등 불투명한 서비스 체인을 통해 점점 더 많이 제공되고 있으며, 이 환경에서 클라이언트는 실제로 응답하는 모델(model)이 광고된 모델과 동일한지 기술적으로 확인할 수단이 없다. 최근 감사 결과에 따르면 상당수의 상용 엔드포인트가 공급업체의 참조 가중치(weight)에서 벗어나 있음이 드러났다. 기존 식별 기법은 긴 생성 텍스트, 토큰(token) 수준의 로그 확률, 적대적으로 설계된 프롬프트, 또는 모델 소유자의 협조를 필요로 한다. 우리는 훨씬 약한 증거만으로도 충분함을 보인다. 우리는 LLM의 행동적 핑거프린트를 단순한 단일 단어 프롬프트—"1에서 100 사이의 임의의 숫자를 말하시오"—에 대한 답변의 경험적 분포로 정의하며, 이를 네 가지 언어에 걸쳐 쿼리당 하나의 출력 토큰 비용으로 수집한다. 대형 상용 집계자(OpenRouter)를 통해 제공되는 165개의 모델을 측정한 결과, (i) 이러한 분포는 매우 비균등하며(중앙값 셀 엔트로피 1.0비트) 모델 특이적이다: 동일 모델의 표본을 절반으로 분할한 쌍은 서로 다른 모델의 표본 쌍보다 한 자릿수 더 가깝게 위치한다; (ii) 핑거프린트 간 Jensen-Shannon 발산은 모델 계보를 복원하며, 18.4%의 우연 기준 대비 59.5%의 리브-원-아웃 정확도로 모델을 문서화된 패밀리에 할당한다; (iii) 생체인식 방식의 검증 프로토콜은 40셀 전체 배터리에서 7.3%의 동일 오류율(equal error rate)을 달성하고, 8개의 프로브 셀만으로도 11% 미만을 기록한다—감사당 약 100회의 단일 토큰 쿼리에 해당한다. 또한, 오픈 가중치 Qwen 모델과 분포적으로 구별 불가능한 독점 브랜드 플래그십 엔드포인트를 포함한 생태계 이상 현상도 보고한다. 프로토콜, 프롬프트, 원시 데이터, 분석 코드는 재현 및 실무 활용을 위해 공개된다.
추가 학습 없이 에이전트 태스크를 검증하는 범용 프레임워크 LLM-as-a-Verifier를 제안하며, 이산적 점수 대신 채점 토큰 로짓(logit)의 분포 기댓값으로 연속 점수를 산출해 점수 세분성, 반복 평가, 기준 분해 세 축에서 검증 스케일링이 가능함을 보인다. Terminal-Bench V2(86.5%), SWE-Bench Verified(78.2%), RoboRewardBench(87.4%), MedAgentBench(73.3%)에서 최고 성능을 달성하며, 강화학습(RL)의 밀집 보상 신호로도 활용해 SAC와 GRPO의 샘플 효율성을 향상시킨다.