비용 제약 조건 하에서 언어 모델 응답의 온라인 검증
Online Verification of Language Model Responses Under Cost Constraints
대규모 언어 모델(LLM)이 다단계 추론(multi-step reasoning)에 점점 더 많이 활용됨에 따라, 대규모 환경에서 신뢰성을 유지하기 위해 출력의 정확성을 검증하는 것이 필수가 되었습니다. 대규모 언어 모델 출력의 정확성 검증은 주로 많은 비용이 드는 정답 오라클(ground-truth oracle)에 질의하여 수행되지만, 온라인 환경에서 매 단계마다 이를 호출하는 것은 비현실적입니다. 기존 연구에서는 매 단계마다 단일 약한 검증기(weak verifier)에 질의하고, 그 점수를 활용해 비용이 많이 드는 강력한 검증기에도 질의할지 여부를 결정함으로써, 소수의 단계에서만 강력한 검증을 수행하도록 하여 이 문제를 해결했습니다. 그러나 유입되는 쿼리의 주제나 난이도가 시간에 따라 변함에 따라 단일 고정 약한 검증기는 일관되게 우수한 성능을 내지 못할 수 있으며, 사전에 하나를 정해두는 것은 지나치게 많은 비용이 들거나 부정확한 검증으로 이어질 위험이 있습니다. 본 논문에서는 비용과 검증 성능이 서로 다른 $K$개의 후보 약한 검증기 풀을 유지하고, 온라인 점수 결합기(online score combiner) 및 지수 가중치 라우팅 정책(exponential-weights routing policy)을 통해 선택된 검증기로 매 라운드의 결정을 적응형으로 라우팅하는 알고리즘인 OMVV(Online Multi-Verifier Verification)를 제안합니다. OMVV는 전체 검증기 풀에 걸쳐 위양성(false-accept) 및 위음성(false-reject) 비율에 대한 분포 무관(distribution-free) 유한 시간 보장을 제공하며, 비용과 일관성을 결합한 목적 함수 하에서 사후 최적의 고정 검증기 대비 준선형 리그릿(sublinear regret)을 추가로 달성합니다. 추론 데이터셋 벤치마크에 대한 실험 결과, OMVV는 다양한 운영 예산 범위 전반에서 단일 고정 검증기보다 더 낮은 검증 비용으로 더 높은 정확도를 달성함을 보여줍니다.