PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.28322v1cs.AI

신뢰 가능한 추론의 비용 학습

Learning the Cost of Reliable Inference

벤치마킹 및 라우팅 플랫폼은 점점 더 대규모 언어 모델 제공자와 최종 사용자를 잇는 중개자 역할을 한다. 그러나 이러한 플랫폼의 제공자는 대개 토큰당 고정 가격을 사용하기 때문에, 사용자는 자신의 태스크에 대해 가장 경쟁력 있는 가격을 얻기 어렵다. 본 연구에서는 태스크별 토큰 가격이 제공자 간 경쟁에 의해 결정되는 조달 플랫폼을 설계하여, 사용자가 보장된 품질 수준에 대해 경쟁력 있는 가격을 확보할 수 있게 한다. 이를 위해 플랫폼은 역(second-price) 경매를 통해 쿼리를 순차적으로 라우팅하며, 이는 모델 제공자가 사용자 쿼리를 처리하는 평균 비용에 대한 자신의 최선 추정치를 진실하게 입찰하도록 유도한다. 쿼리를 라우팅하는 동안 플랫폼은 각 제공자가 제공하는 품질을 학습하고, 원하는 품질 임계값을 충족하는 제공자 중 가장 비용 경쟁력 있는 제공자로 점진적으로 쿼리를 라우팅한다. 설계를 검증하기 위해 \texttt{Llama} 및 \texttt{Qwen} 계열의 여러 LLM을 널리 쓰이는 수학적 추론 및 질의응답 벤치마크에서 실험한다. 결과에 따르면, 우리 플랫폼에서 가장 비용 경쟁력 있는 제공자의 가격 마진은 태스크와 품질 임계값에 따라 10%에서 71%까지 크게 달라진다. 이는 현재의 고정 가격 시장에 상당한 비효율이 있음을 시사하며, 경쟁적인 시장 조건이 허용할 때 사용자가 최대 절감 효과를 거둘 수 있도록 우리 플랫폼이 기여할 수 있음을 보여준다.