Brick: 모델 혼합(MoM) 패러다임을 위한 공간 능력 라우팅
Brick: Spatial Capability Routing for the Mixture-of-Models (MoM) Paradigm
한국어 초록
쿼리 난이도를 정의하는 것은 배포 엔지니어링에서 가장 어려운 문제 중 하나이다. 기존 LLM 라우터는 도메인 레이블, 키워드, 토큰 수와 같은 표면적 특징에 의존하며, 실제로 모델의 성공을 결정하는 도메인 내 변동을 무시한다. 최첨단 모델은 로컬 오픈 웨이트 모델보다 10배에서 100배 더 비싸므로, 프로덕션 규모에서는 요청당 작은 절감도 직접적인 클라우드 비용 절감 수단이 된다. 우리는 각 모델을 6개 능력 차원으로 점수화하고, 쿼리별 난이도 추정과 이를 결합하여, 비용 페널티 기하학적 규칙을 통해 디스패치하는 다중모드 라우터인 Brick을 제시한다. 연속적인 선호도 조절기를 통해 운영자는 배포 시점에 최대 품질과 최대 절감 프로파일 사이를 조절할 수 있다. 5,504개 쿼리 벤치마크에서, 최대 품질 설정의 Brick은 76.98% 정확도를 달성하여 최고의 단일 모델(75.02%)과 테스트된 모든 라우터를 능가한다. 중립적인 비용-품질 프로파일에서 Brick은 가장 강력한 모델을 항상 사용할 때보다 4.71배 낮은 비용으로 74.11% 정확도를 달성한다. 최소 비용 설정에서는 11.85 포인트의 정확도 손실로 비용을 22.15배 절감한다. 중앙값 지연 시간은 51.2초에서 22.8초로 감소한다.
원문 초록
Defining query difficulty is one of the hardest problems in deployment engineering. Existing LLM routers rely on surface features such as domain labels, keywords, and token count, ignoring the within-domain variance that actually determines model success. Frontier models cost ten to one hundred times more than local open-weight models, so at production scale even small per-request savings become a direct cloud-bill lever. We present Brick, a multimodal router that scores each model on six capability dimensions, combines this with a per-query difficulty estimate, and dispatches via a cost-penalized geometric rule. A continuous preference knob lets operators slide between max-quality and max-saving profiles at deploy time. On a benchmark of 5,504 queries, Brick at max-quality reaches 76.98% accuracy, beating the best single model (75.02%) and all tested routers. At a neutral cost-quality profile, Brick achieves 74.11% accuracy at 4.71x lower cost than always using the strongest model. At min-cost, it cuts cost 22.15x with 11.85 points accuracy loss. Median latency drops from 51.2s to 22.8s.
요약
기존 LLM 라우터의 한계를 극복하기 위해 여러 능력 차원과 쿼리 난이도 추정을 결합한 다중모드 라우터인 Brick을 제시하며, 이는 비용 페널티 기하학적 규칙을 통해 디스패치한다. Brick은 최고 단일 모델보다 높은 정확도를 달성하거나 동등한 성능에서 최대 22배 이상의 비용 절감과 지연 시간 단축 효과를 보인다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13241v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
핸드오프 곡선: 멀티턴 LLM 라우팅에서의 초기 선택, 사후 핸드오프 및 지도 타깃
Handoff Curves: Initial Selection, Later Handoff, and Supervision Targets in Multi-turn LLM Routing
본 연구에서는 여러 턴(turn)에 걸친 대규모 언어 모델(LLM) 태스크에서 초기 모델(model) 선택, 사후 핸드오프(handoff), 그리고 학습(training) 타깃이 성공률과 비용에 미치는 영향을 연구합니다. 핸드오프 단계 변화에 따른 태스크 성공률과 비용을 기록하는 핸드오프 곡선을 활용하여 여러 라우터 아키텍처를 비교합니다. 연구진이 구축한 데이터셋(dataset)은 BFCL, MultiWOZ, $τ$-retail 전반에 걸친 3개 Qwen 모델의 34,204건의 완전한 실행 기록을 포함하며, 라우팅 결정을 위한 오프라인 지도 정보를 제공합니다. 주요 비교 분석에서 Qwen3.5 35B-A3B를 시작 모델로 사용했을 때, 사후 핸드오프를 허용하는 것은 BFCL 또는 MultiWOZ에서 초기 선택 대비 효용 개선을 보이지 못했으며 다양한 비용 가중치 범위에 걸쳐 BFCL에서 비용을 증가시켰습니다. 지도 타깃을 변경하면 자체 데이터셋과 TwinRouterBench 모두에서 라우터 성능이 향상됩니다. 자체 데이터셋의 경우 노이즈가 있는 학습 성공 곡선을 단조 적합(monotone fit)으로 대체함으로써 보고된 작동 지점 전반에 걸쳐 동일한 비용에서 성공률이 0.2~4.1%포인트 향상되었습니다. TwinRouterBench에서는 남은 작업 및 앞으로 닥칠 어려운 단계에 필요한 모델 성능을 기술하는 타깃을 구성했습니다. 벤치마크의 단계별 라벨로 학습하는 것과 비교하여, 이러한 타깃은 전체 정적 뱅크에서 궤적 통과 점수를 7.8%포인트, 비용 절감 효과를 6.3%포인트 높였습니다. 이 타깃으로 학습된 라우터의 실제 배포에서는 인스턴스당 0.59달러의 라우터 비용으로 100개 인스턴스 중 79개를 해결했습니다.
동적 LLM 라우터는 종종 잘못 유도된다
Dynamic LLM Routers are Often Misguided
동적 대규모 언어 모델(LLM) 라우터는 각 질의를 올바르게 답변할 수 있는 가장 저렴한 모델로 보내 추론(inference) 비용을 절감할 수 있을 것으로 기대됩니다. 본 연구에서는 8개 작업 범주를 아우르는 다양한 벤치마크를 기반으로 14개 설정에서 6개의 상용 라우터를 분석하였으며, 그 어떤 라우터도 동일한 비용 조건에서 잘 선택된 두 모델 중 하나를 무작위로 선택하는 라우터보다 우수한 성능을 내지 못함을 확인했습니다. 일부 라우터는 성능이 10%p 이상 낮았습니다. 연구진은 이러한 격차의 원인을 라우터 전반에서 만연한 네 가지 패턴, 즉 난이도 맹목성(difficulty blindness), 길이 역전(length reversal), 의미적 매칭(semantic matching), 명단(roster)의 비최적성으로 추적했습니다. 본 연구는 앞의 세 가지 패턴이 표준 목적 함수가 보상하는 바임을 보여줍니다. 즉, 실현된 비용에 기반한 비용-정확도 파레토 효율성은 가장 어려운 질의보다 적당히 어려운 질의를, 긴 질의보다 짧은 질의를 더 상위 모델로 전달(escalate)하도록 유도하며, 질의의 난이도보다는 출처에 따라 라우팅하도록 만듭니다. 또한 대규모 모델 명단을 정당화하는 두 가지 가정인 모델 세분성(granularity)과 모델 전문화(specialization)가 실증적으로 성립하지 않는다고 주장합니다. 연구진은 이러한 패턴에 보상을 주지 않는 대안 평가 방법론을 제안하고, 개념 증명(proof of concept)으로서 이 네 가지 패턴을 모두 피하는 단순한 2개 모델 라우터를 설계했습니다. 그럼에도 불구하고 잘 구성된 모델 명단에서는 라우팅할 여지가 거의 남지 않기 때문에, 무작위 라우팅 대비 성능 향상은 제한적입니다.
JOVE: 자원 인지형 LLM 태스크 그래프를 위한 공동 실행 및 검증
JOVE: Joint Execution and Verification for Resource-Aware LLM Task Graphs
복잡한 추론 질의는 방향성 비순환 그래프(DAG) 형태의 태스크 그래프로 분해되어 이종 대규모 언어 모델(LLM)에 분산될 수 있으며, 이를 통해 병렬 처리를 통한 지연 시간을 줄이고 더 작은 모델이 복잡한 태스크를 해결하도록 지원할 수 있습니다. 그러나 실제로는 주어진 서브태스크에 대한 특정 LLM의 적합성을 사전에 알 수 없을 수 있으며, 단순 실행만으로는 출력의 정확성을 파악할 수 없습니다. 본 논문에서는 실행기 LLM을 할당하는 동시에 유료 검증을 거칠 중간 출력을 함께 선택하는 온라인 프레임워크인 JOVE를 제안합니다. 검증은 비동기식으로 실행되며 향후 할당 결정을 개선하는 데 사용되므로, 시스템은 현재 실행에 드는 비용과 향후 학습을 위한 지출 사이의 균형을 유지해야 합니다. 본 연구에서는 확률적이며 초기에는 알려지지 않은 LLM 서비스 품질, 호출 비용 및 실행 시간 환경에서 장기 예산과 질의별 지연 시간 제약 조건 하에 이러한 트레이드오프를 최적화하는 방법을 연구합니다. JOVE는 질의별 일련의 혼합 정수 선형 계획법(MILP) 문제를 해결하여 실행 및 검증 결정을 내립니다. 온라인 학습은 검증 피드백을 기반으로 LLM 품질에 대한 태스크 의존적 추정치를 업데이트하며, 정보 이득 보너스를 통해 학습의 가치를 할당 결정에 반영합니다. 자연스러운 일련의 가정 하에 본 연구는 JOVE의 준선형(sublinear) 품질 학습 후회(regret)를 입증합니다. 4가지 추론 벤치마크 전반에서 JOVE는 표준 추론(inference) 베이스라인 대비 경쟁력 있는 정확도를 달성하는 동시에 평균 비용과 지연 시간을 최소 3.17배 단축합니다.
모든 오류가 스케일링으로 해결되지는 않는다: 비전-언어 추론에서 스케일링이 멈추는 지점
Not All Error Yields to Scale: Where Scaling Stops in Vision-Language Inference
비전-언어 모델(VLM)은 미세한 지각을 위해 더 많은 시각 정보를 처리하는 것과 복잡한 추론을 위해 더 큰 언어 백본을 사용하는 것 사이에서 고정된 예산 트레이드오프(trade-off)에 직면합니다. 기존 연구들은 특히 고해상도 배포 환경에서 백본 크기와 입력 해상도를 어떻게 조합하여 배포해야 하는지 알려주지 못합니다. 이러한 공백을 해결하기 위해, 본 논문은 언어 백본 크기와 시각적 토큰(visual token) 수에 따라 VLM 성능이 어떻게 변화하는지 설명하는 '분리 가능 법칙(Separable Law)'을 제안합니다. 저자들은 언어 백본 크기가 1B에서 72B에 이르는 26개의 InternVL 및 QwenVL 모델을 대상으로 224픽셀부터 8K 해상도에 이르는 4개의 고해상도 벤치마크에서 측정한 데이터를 바탕으로 이 법칙을 적합(fitting)했습니다. 연구 결과, 스케일링에 반응하는 질문은 해당 질문이 요구하는 능력(skill)을 통해 예측할 수 있는 반면, 상당한 비율의 질문은 스케일링에 전혀 반응하지 않는다는 것을 발견했습니다. 또한 두 모델 패밀리가 더 큰 백본으로부터 얻는 이득은 유사하지만, 더 많은 시각적 토큰으로부터 얻는 이득은 크게 다르다는 점을 확인했습니다. 비용 법칙(cost law)과 결합된 분리 가능 법칙은 백본 크기와 시각적 토큰 간의 계산 자원을 할당하기 위한 닫힌 형식(closed-form) 규칙을 제공합니다. 가용 구성에 제약이 있는 배포 환경에서도 이 법칙은 동일한 예산 내에서 실현 가능한 최선의 선택에 근접한 성능을 내는 모델과 이미지 크기를 찾아냅니다. 본 연구가 모델이 추론해야 할 대상에 맞춰 고해상도에서 얼마나 많은 것을 보게 할지 결정하는 원칙적인 방법을 제공하기를 기대합니다.
희소 가우시안 프로세스 회귀에서의 기저 함수 선택
On Basis Function Selection for Sparse Gaussian Process Regression
희소 가우시안 프로세스는 입력 공간 상의 고정 기저 $\{\phi_j\}$로의 적절한 전개로 커널을 대체함으로써 $O(N)$ 추론을 달성한다. 계산 예산 $M \ll N$이 주어지면, 실무자들은 관례적으로 기저를 처음 $M$개 항으로 잘라(truncate) 사용한다. 그러나 형식적 프레임워크상 데이터에 실제로 중요한 $M$개의 기저 함수만 선택하는 것을 막을 수는 없다. 이렇게 하면 신호가 없는 기저 함수에 예산을 쓰는 것을 피할 수 있지만, 후보를 순위 매기기 위한 기준이 필요하다. 우리는 기저 함수 선택 문제에 대한 정보 이론적 관점에서 도출한 세 가지 기준을 제안한다. 각 기준은 선택 시점의 서로 다른 지식 상태에 대응한다: 무-데이터(no-data) 상태, 무-사전(no-prior) 상태, 그리고 그 중간(in-between) 상태. 그런 다음 세 가지 기저 계열—Hilbert 공간 가우시안 프로세스(HSGP), 변분 푸리에 특징(VFF), 변분 inducing 구면 조화(VISH)—에 대해 여섯 개의 UCI 회귀 벤치마크에서 절단(truncation) 대비 선택(selection) 전략의 성능을 연구한다. 우리는 무-데이터 기준이 안전한 기본값이며, HSGP, VFF, VISH에 대해 절단과 동등하거나 더 나은 성능을 보이고, VISH에서는 상당한 이득을, 해당 기저 계열에 대해 최근 개발된 선택 휴리스틱 대비 개선을 보인다고 관찰한다. 데이터를 고려한 무-사전 및 중간 기준은 세 계열 중 실무에서 가장 널리 쓰이는 HSGP에 대해 절단 대비 상당한 이득을 제공한다.
COMED: 다중 LLM 추론에서 라우팅과 협업 사이의 빠진 중간 영역
COMED: The Missing Middle Between Routing and Collaboration in Multi-LLM Inference
어떤 단일 대규모 언어 모델(LLM)도 모든 질의에 대해 일관되게 신뢰할 수는 없으며, 이는 모델 간 라우팅을 수행하거나 모델들의 출력을 결합하는 다중 모델 추론(inference) 시스템의 필요성을 이끌어냈습니다. 그러나 라우팅은 초기 모델을 선택한 후 멈추는 반면, 밀집 협업(dense collaboration)은 모든 질의마다 동료 모델(peers)을 호출합니다. 본 연구에서는 협업이 비단조적(non-monotonic)임을 보여줍니다. 동료 모델은 어떤 모델도 단독으로 해결하지 못한 실패를 복구할 수도 있지만, 초기에 정답이었던 답변을 손상시킬 수도 있습니다. 이에 따라 선택적 교차 모델 협업을 위한 앵커 사후 컨트롤러인 COMED(Controlled Model Escalation for Multi-LLM Deliberation)를 제안합니다. COMED는 앵커 자체 일관성(self-consistency), 라우터 마진(margin), 그리고 경량 동료 프로브(probe)를 활용하여 확신도가 높은 답변은 수용하고, 모호한 경우는 검증하며, 협업이 유익할 가능성이 높을 때만 에스컬레이션합니다. 본 논문에서는 협업으로 유발되는 피해보다 복구된 오류가 더 많을 때 선택적 협업이 성능을 향상시킨다는 점을 구제-피해 분해(rescue-harm decomposition)를 통해 정식화합니다. 의학, 과학 및 일반 추론 벤치마크 전반에 걸쳐 COMED는 밀집 협업보다 더 적은 수의 모델을 호출하고 더 적은 디코딩 토큰(token)을 사용하면서도, 16개의 모든 오픈 가중치(weight) 설정에서 고정 및 라우팅된 앵커를 개선하였으며 MedQA에서는 최대 +10.7%p의 향상을 달성했습니다. 프론티어 모델을 활용한 HLE에서 COMED는 GPT-5.5의 성능을 23.1%에서 28.1%로 끌어올려 밀집 협업을 능가하고 최고 성능을 기록했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.