LLM-as-a-judge는 평가(evaluation) 규모를 확장하지만, 추론 기반 판사는 느리고 비용이 많이 듭니다. 본 연구에서는 텍스트 대신 레이블 확률을 반환하며 그 확신도(confidence)에 따라 자체 판정을 수용할지 아니면 추론 기반 판사로 에스컬레이션(escalate)할지를 결정하는 결정 전용 판사인 JEV를 활용한 평가 방식인 'JEV-as-a-Judge'를 연구합니다. 블라인드 인간 판정을 거쳐 16개의 생성형 판사 및 보상 모델(reward model) 판사와 비교했을 때, JEV는 텍스트로부터 판정을 바로 판독할 수 있는 경우 GPT-6 비용의 0.36% 및 0.15초의 중앙값 지연 시간(median latency)만으로 GPT-6와 3점 이내의 격차를 보였으며, 수학, 코드, 논리와 같이 판정을 도출해 내야 하는 영역에서는 뒤처졌습니다. JEV의 확신도는 이러한 경계를 명확히 나타냅니다. 사전에 고정된 임계값을 적용하여 확신도가 높은 판정은 수용하고 나머지는 에스컬레이션했을 때, 1,610개의 홀드아웃(held-out) 쌍에서 GPT-6 비용의 41%로 GPT-6보다 0.9점 더 높은 정확도를 달성했으며, 사전에 지정된 두 개의 새로운 워크로드 대상 실시간 테스트에서 해당 캐스케이드는 GPT-6의 정확도와 정확히 일치했습니다. 확신도 라우팅은 스타일에 대한 적대적(style-adversarial) 쌍 및 참조 없는 산문에서 약화되며, 마지막으로 임계값을 로컬에서 검증하기 위한 간단한 방안을 제시합니다.
대규모 언어 모델(LLM)은 루브릭 기반의 이력서(CV) 심사를 지원할 수 있지만, 모든 지원자와 평가 기준에 고성능 모델을 적용하는 것은 비용이 많이 듭니다. 본 논문에서는 기준 단위 LLM 라우팅을 위한 도메인 이론 기반 베이지안 네트워크인 CreateScore를 제안합니다. 디리클레-다항(Dirichlet-multinomial) 조건부 확률표를 갖춘 수작업 지정 방향성 비순환 그래프(DAG)가 이력서 증거를 사후 불확실성으로 변환하며, 불확실성이 낮은 결정은 로컬 8B 모델로 처리하고 불확실한 결정은 120B 레퍼런스 모델로 이관(escalate)합니다. 그래프는 인과적으로 동기 부여되었으나, 시스템은 인과 추론이 아닌 표준 베이지안 조건화를 수행합니다. 이관 임계값은 학습(training) 폴드에서 보정된 후(목표: 70% 로컬 처리) 고정됩니다. 200개의 합성 데이터 사이언스 이력서(학습 139건, 테스트 61건, 5개 기준)를 대상으로 평가한 결과, 기준 결정의 77.7%(305건 중 237건)가 로컬에서 처리되었습니다. 120B 모델이 모든 기준을 판정한 기준 조건과 비교했을 때, 라우팅된 이관은 토큰 사용량을 65.2% 줄였고 정확한 점수 일치도를 32.8%(8B 단독)에서 42.6%(95% CI 31.0-55.1%)로 높였습니다. 다만 n = 61에서 이 향상은 통계적으로 유의미하게 구분되지 않았습니다. 그러나 불확실성 신호는 8B 모델이 오류를 범한 결정을 식별하지는 못했습니다. 레퍼런스와의 불일치율은 이관된 결정에서 16.2%, 로컬에서 해결된 결정에서 19.4%였으며(AUROC 0.47, 95% CI 0.39-0.56), 이는 무작위 선택보다 나을 바가 없었습니다. 또한 잘린 추론 모델의 출력이 로컬 레이블로 조용히 대체되면서 이전 평가가 무효화되었던 과정을 기록하고 캐스케이드 평가를 위한 안전장치를 권장합니다. CreateScore는 표적화된 오류 탐지기가 아닌 감사 가능한 비용 절감 메커니즘으로 뒷받침되며, 자율 채용 시스템은 아닙니다.
쿼리를 k-means로 클러스터링한 뒤 비용 대비 최적 모델로 라우팅하는 1단계와, 저품질 출력을 강력한 모델로 에스컬레이션하는 품질 추정(QE) 캐스케이드 2단계로 구성된 2단계 LLM 서빙 프레임워크를 제안한다. AIME 2024 및 TeleQnA 벤치마크에서 가장 강력한 모델 정확도의 97~99%를 유지하면서 출력 토큰당 시간(TPOT)을 최대 18% 단축하는 성능을 보였다.
MemBoost는 반복·유사 쿼리가 많은 대화형 LLM 서빙에서 경량 모델이 이전 답변과 검색된 정보를 재사용하고, 어렵거나 불확실한 요청만 강력한 대형 모델로 전달하는 메모리 부스트 프레임워크로, 표준 RAG와 달리 답변 재사용·지속적 메모리 축적·비용 인식 라우팅을 지원한다. MMLU-Pro에서 Zipf 분포로 시뮬레이션한 워크로드 실험에서 비용이 큰 대형 모델 호출과 전체 추론 비용을 크게 줄이면서도 강력한 모델 기준선과 대등한 답변 품질을 유지했다.