PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.18774v1cs.LG

RouteJudge: 재현 가능하고 선호도 인식 대규모 언어 모델(LLM) 라우팅을 위한 개방형 플랫폼

RouteJudge: An Open Platform for Reproducible and Preference-Aware LLM Routing

LLM 라우팅 평가가 정적 벤치마크와 고정 정답 중심이라 실제 사용자 선호를 충분히 반영하지 못한다는 한계를 보완하기 위해, RouteJudge는 동일 모델 풀과 예산 제약 하에서 여러 라우팅 전략이 선택한 응답을 익명 쌍대 비교로 평가하고 그 선호도를 라우터 수준 의사결정에 귀속하는 공개 온라인 플랫폼을 제공한다. 라우팅의 벤치마크 로딩, 쿼리 표현, 예산 인식 평가, 방법 비교를 표준화하는 ORBIT 툴박스를 함께 공개해 연구자가 일관된 프로토콜로 라우터를 개발·검증한 뒤 RouteJudge 온라인 선호도 평가에 제출할 수 있게 한다.