arXiv:2502.04428

Confident or Seek Stronger: Exploring Uncertainty-Based On-device LLM Routing From Benchmarking to Generalization

Yu-Neng Chuang, Leisheng Yu, Guanchu Wang, Lizhe Zhang, Zirui Liu, Xuanting Cai, Yang Sui, Vladimir Braverman, Xia Hu

제출 2025-02-06

원문 초록

Large language models (LLMs) are increasingly deployed and democratized on edge devices. To improve the efficiency of on-device deployment, small language models (SLMs) are often adopted due to their efficient decoding latency and reduced energy consumption. However, these SLMs often generate inaccurate responses when handling complex queries. One promising solution is uncertainty-based SLM routing, offloading high-stakes queries to stronger LLMs when resulting in low-confidence responses on SLM. This follows the principle of "If you lack confidence, seek stronger support" to enhance reliability. Relying on more powerful LLMs is yet effective but increases invocation costs. Therefore, striking a routing balance between efficiency and efficacy remains a critical challenge. Additionally, efficiently generalizing the routing strategy to new datasets remains under-explored. In this paper, we conduct a comprehensive investigation into benchmarking and generalization of uncertainty-driven routing strategies from SLMs to LLMs over 1500+ settings. Our findings highlight: First, uncertainty-correctness alignment in different uncertainty quantification (UQ) methods significantly impacts routing performance. Second, uncertainty distributions depend more on both the specific SLM and the chosen UQ method, rather than downstream data. Building on the insight, we propose a calibration data construction instruction pipeline and open-source a constructed hold-out set to enhance routing generalization on new downstream scenarios. The experimental results indicate calibration data effectively bootstraps routing performance without any new data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13654v1cs.LG공통 태그 Uncertainty Quantification, Benchmarking

TabReliBench: 예측 정확도를 넘어 정형 파운데이션 모델 평가하기

TabReliBench: Evaluating Tabular Foundation Models Beyond Predictive Accuracy

정형 파운데이션 모델(TFM)은 뛰어난 예측 성능으로 인해 점점 더 인기를 얻고 있습니다. 많은 TFM은 사후 예측 분포(PPD)도 제공하지만, 이에 대한 신뢰성은 상대적으로 덜 연구되었습니다. 본 연구에서는 점 예측(point prediction), 분포 품질, 한계(marginal) 및 하위 집단 보정(subgroup calibration), 구간 효율성을 통해 신뢰성을 평가합니다. 그런 다음 이러한 비교 및 데이터셋 수준 분석을 위한 대규모 분류(classification) 및 회귀 벤치마크인 TabReliBench를 소개합니다. 연구 결과, TabArena와 본 벤치마크 간에, 그리고 여러 신뢰성 지표에 걸쳐 TFM의 순위가 달라지는 것을 확인했습니다. 회귀 TFM은 대개 공칭에 가까운 한계 커버리지(nominal marginal coverage)를 달성하고 좁은 구간을 유지하지만, 이러한 우수한 한계 거동이 유효한 조건부 커버리지를 보장하지는 않습니다. 데이터셋 수준 분석에 따르면 분류 난이도가 높을수록 보정 성능이 저하되는 경우가 흔한 반면, 회귀 예측 성능은 보정 성능의 신뢰할 수 있는 지표가 되지 못합니다. 앙상블은 예측 성능을 향상시키지만 PPD의 보정을 일관되게 개선하지는 않으며, TFM은 적합성 사후 처리(conformal post-processing)로부터 얻는 이점이 거의 없어 하위 집단 간의 격차를 안정적으로 해결하지 못합니다. 따라서 신뢰할 수 있는 TFM을 선택하기 위해서는 단순한 종합 순위를 넘어 다차원적인 평가가 필요합니다. 코드는 https://github.com/Tianqi-Zhao/TabReliBench 에서 확인할 수 있습니다.

arXiv:2610.13823v1cs.DB공통 태그 Uncertainty Quantification, Benchmarking

같은 쿼리, 다른 답변: 시맨틱 쿼리 처리에서의 실행 간 변동성

Same Query, Different Answer: Run-to-Run Variance in Semantic Query Processing

시맨틱 쿼리 엔진은 대규모 언어 모델(LLM)에 개별 행을 판단하도록 요청하며, 벤치마크는 온도(temperature) 0에서 몇 차례 실행한 품질을 바탕으로 이러한 엔진들을 비교합니다. 본 연구에서는 또 다른 실행에서 결과가 얼마나 달라지는지 측정합니다. 우리는 SemBench, LRO-Bench, UDA-Bench의 텍스트 및 테이블 워크로드를 각 벤치마크의 하네스를 통해 재실행하여 120만 건의 모델 호출을 모두 기록하고, SemBench의 공개된 실행 결과를 재분석했습니다. 온도 0에서도 5회 실행 동안 모델에 따라 0.07%에서 10.2%의 행이 연산자 출력을 변경했으며, 특정 태스크에서는 최대 24.0%에 달했습니다. 가능 세계 모델(possible-worlds model)이 예측하듯이, 쿼리 플랜은 답변이 노출하는 행의 수에 따라 이러한 변화를 지수적으로 증폭시킵니다. UDA-Bench에서는 추출된 값 중 소수 퍼센트만 변경되었음에도 답변의 약 3분의 2가 변경되었습니다. SemBench의 공개 결과에서는 결정론적 플랜을 사용하는 엔진을 포함하여 텍스트 결과의 21%가 실행 간에 품질 변화를 보였습니다. 쿼리별 시스템 비교 다수와 LRO-Bench의 구현 권장사항 테스트 28개 중 16개는 벤치마크가 수행한 실행만으로는 결론을 내릴 수 없었습니다. 변경되는 행은 모델 간에 서로 의견이 일치하지 않는 행이며, 단일 실행 내의 동일한 요청 간 불일치 빈도는 서로 다른 실행 간의 불일치 빈도만큼이나 잦았습니다. 또한 단일 실행의 결정 마진(decision margin)이나 추론 길이를 통해 어떤 행이 변경될지 예측할 수 있습니다. 보팅(voting)은 분산을 줄이지만 완전히 제거하지는 못하며, 보정된 캐스케이드(calibrated cascade)는 반환하는 행이 변경되는 와중에도 보장성을 유지합니다. 우리는 이를 바탕으로 벤치마크를 위한 보고 규칙과 엔진을 위한 설계 규칙을 도출합니다.

arXiv:2609.39166v3cs.AI공통 태그 Uncertainty Quantification, Benchmarking

기억된 세계를 넘어서: 진화하는 세계에서의 지속적 내비게이션을 위한 예측적 4D 신념

Beyond the Remembered World: Predictive 4D Belief for Persistent Navigation in Evolving Worlds

지속적 공간 메모리는 체화된 에이전트(embodied agent)가 반복적인 방문에 걸쳐 익숙한 환경을 탐색할 수 있도록 돕습니다. 그러나 목표 대상은 관측되지 않는 동안에도 움직일 수 있으며 내비게이션 도중에도 이동할 수 있어, 에이전트가 도착할 즈음에는 기억된 위치의 신뢰성이 떨어지게 됩니다. 메모리 검색 및 상태 예측 기술의 발전에도 불구하고, 지속적으로 숨겨진 세계의 변화(world evolution)를 고려하고 제한된 시야 하에서 신념(belief)을 수정하는 일은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 에이전트가 간헐적인 관측으로부터 목표 위치를 추론하고, 검사 시점의 상태를 예측하며, 시각적 증거를 사용해 신념을 수정하는 '진화하는 세계 내비게이션(Evolving-World Navigation)'을 연구합니다. 우리는 구조화된 지속-재배치 모델을 통해 타임스탬프가 부여된 3D 객체 이력으로부터 시간 인덱싱된 신념을 구축하는 EvolvingNav를 제안합니다. 이 신념은 마지막으로 관측된 위치에서의 지속성과 다른 위치로의 재배치를 구분하며, 알려진 후보군 집합 외부의 확률 질량도 유지합니다. 이벤트 기반 필터는 시간이 경과함에 따라 현재 신념을 전파하고, 후보 검사 시점에서의 목표 점유율을 예측하며, 새로운 RGB-D 증거를 반영합니다. 부정적 관측(negative observation)은 캘리브레이션된 시야 조건부 탐지 확률에 따라 위치 가설의 가중치를 낮추고, 증거 추적 메커니즘은 동일한 관측의 중복 활용을 방지합니다. 동결된 제로샷(zero-shot) 비전-언어(vision-language) 제어기는 업데이트된 신념을 사용하여 행동을 선택하고 재계획을 수행합니다. 나아가 우리는 인간 활동 궤적을 기반으로 하며, 내비게이션 전후 및 도중의 제어된 변화를 포함하는 54개 장면과 803,680개 작업으로 구성된 벤치마크(benchmark)인 EvoWorld-Bench를 소개합니다. 시뮬레이션 및 실제 로봇 실험에서 EvolvingNav는 평가된 베이스라인 대비 내비게이션 성공률과 탐색 효율성을 향상시켰습니다. 쌍체 실험(paired experiments)에서는 학습 가능한 시간적 패턴 하에서 가장 뚜렷한 성능 향상을 보였으며, 소거 연구(ablation study)를 통해 불확실성 보존 및 시야 인식 증거 반영의 유효성을 입증했습니다.

arXiv:2610.10597v1cs.CR공통 태그 Uncertainty Quantification, Benchmarking

인증된 오염 예산: 적응형 조작 하에서 상시 유효한 리더보드 주장

Certified Corruption Budgets: Anytime-Valid Leaderboard Claims under Adaptive Rigging

AI 모델을 위한 공개 리더보드는 지속적으로 열람되며, 공격자는 공개된 모든 순위를 확인할 수 있다. 투표 조작, 비공개 변형 모델의 선택적 공개, 벤치마크 오염은 각각 순위를 뒤흔들 수 있다. 기존의 보증 방식은 기록이 조작되지 않았다고 가정하거나 단계별 오염 정도를 제한하는데, 이는 일시적으로 대량 오염을 가하는 공격자에게 무력화된다. 본 연구에서는 $t$개의 기록 이후 계산되어 각 쌍대 비교 주장과 함께 공개되는 허용 오차인 인증된 오염 예산(certified corruption budget) $\widehat{B}_t$를 제안한다. 최소 $1-α$의 확률로 모든 시점에서 동시에, 해당 주장이 정확하거나 또는 $\widehat{B}_t$개를 초과하는 기록이 오염되었음이 보장된다. 이는 예산 제한 없이 모든 인증서를 모니터링하는 공격자를 상대로도 성립한다. 위조된 기록과 확인 후 변경된 기록은 서로 다른 인증서를 필요로 한다. 위조 기록용 인증서는 이미 확인한 투표를 뒤집는 공격자에게 1에 수렴하는 확률로 실패하는 반면, 기록당 약 두 배의 비용을 부과하는 인증서는 미래를 내다보는 공격자를 상대로도 일정한 배팅을 통해 유효성을 유지하며, 모든 수준에서 이보다 더 적은 비용 부과는 성립하지 않는다. 인증된 예산은 유효한 모든 방법이 허용하는 한계에 가깝게 증가한다. 승률이 $\frac{1}{2}+δ$일 때, 각 신규 기록은 주장이 견뎌낼 수 있는 위조 기록 수에 거의 $2δ$만큼($δ$ 뒤집힘)을 추가한다. $V$개의 비공개 변형 중 최적 모델을 공개하는 데 드는 비용은 $\log V$ 수준으로만 증가한다. 180만 건의 Chatbot Arena 투표를 재현한 실험에서, 수백 건의 조작된 투표만으로도 표준 신뢰 구간은 잘못된 순위를 인증해 버린 반면, 제안 기법은 유효성을 유지했다. 실제 투표 데이터에서 본 인증서는 명확히 분리된 모델들이 약 2,000건의 위조 투표를 견뎌낼 수 있음을 보여준다.

arXiv:2610.00314v1cs.AI공통 태그 Uncertainty Quantification, Benchmarking

예측 기여도: 과학적 설명이 실험 예측에 더하는 가치 측정

Predictive Credit: Measuring What Scientific Explanations Add to Experimental Forecasts

연구 에이전트(agent)는 계획된 실험을 설명합니다. 본 연구에서는 중재, 예측 모델, 결과를 공유하면서 설명(description), 매칭된 설명(matched explanation), 기증자 맥락(donor context)을 달리하는 쌍체 예측을 통해 예측 기여도(predictive credit)를 측정합니다. 다섯 가지 검증을 통해 공약(commitment), 전달(delivery), 예측 이득(predictive gain), 정렬(alignment), 기지 신호 수용(known-signal uptake)을 추적합니다. 통제된 학습 환경의 336개 전향적 상태, 12개 Tox21 엔드포인트, 24개 OpenML 태스크 전반에 걸쳐 v5의 동결된 기여도 판정은 결정적이지 않았습니다. 사전 등록된 Tox21의 ROC AUC 구간 점수 유해성 테스트는 충족되지 않았으며($D-M=-.0026$, 95% 신뢰구간 [$-.0174$, .0104]), OpenML의 결합 형성, 점 동등성 및 반복성 규칙 역시 충족되지 않았습니다. 설명 대비 매칭된 점 정확도(point-accuracy) 향상은 확인되지 않은 상태로 남았으며, Tox21/OpenML 시드-기증자 구간은 0을 포함했습니다. 요청된 DeepSeek V4 Pro 환경에서 매칭 카드와 기증자 카드는 2차 Tox21 드리프트를 각각 64.5%와 59.1% 감소시켰습니다. DeepSeek V4 Flash 재현에서는 매칭 점 MAE가 .01823에서 .02020으로 증가했으며 매칭-기증자 구간 점수 동등성을 달성하지 못했습니다. OpenML 풀 카드 할당은 공칭 80% 구간을 21% 넓혔고, 커버리지는 설명의 51.4% 대비 49.3%였으며 144개 카드 중 66개에 내용이 포함되었습니다. Direct-text Flash는 감지 가능한 매칭 점 정확도 이득 없이 144개 노트를 모두 전달했습니다. 연구자가 직접 작성한 메커니즘 양성 대조군은 설명 대비 점 MAE를 2.60%포인트 낮췄습니다. 본 프로토콜은 연구 에이전트 벤치마크 및 과학적 예측에 대한 예측 기여도를 측정하며, 테스트된 기증자 해상도에서 자연어 설명의 기여도는 확인되지 않은 상태로 남았습니다.

arXiv:2610.00651v1cs.AI공통 태그 Uncertainty Quantification, Benchmarking

에이전트 평가 신뢰성: 더 많은 태스크가 (항상) 에이전트 리더보드를 해결해 주지는 않는다

Agent Evaluation Reliability: More Tasks Won't (Always) Fix An Agent Leaderboard

에이전트(agent) 평가는 대규모 언어 모델(LLM)을 비교하고 배포 결정을 내리는 데 점점 더 많이 사용되고 있지만, 순위는 모델뿐만 아니라 스캐폴드(scaffold)나 태스크와 같은 평가 조건의 영향도 반영할 수 있습니다. 이로 인해 신뢰성은 평가하려는 주장(claim)에 따라 달라집니다. 즉, 배포된 시스템의 순위를 안정적으로 매기는 평가가 그 기반이 되는 모델의 순위까지 안정적으로 매기지는 못할 수 있습니다. 본 연구에서는 현재의 에이전트 평가가 어떤 결론을 안정적으로 뒷받침하는지, 그리고 어떤 추가 평가가 이를 개선할 수 있는지 질문을 던집니다. 이를 위해 희소하고 불균형한 에이전트 리더보드를 위한 베이지안 분산 분해 프레임워크를 개발하고, 이를 Holistic Agent Leaderboard 및 Harbor Index의 22개 벤치마크에 적용합니다. 이 프레임워크는 의도한 주장과 관련된 성능 차이인 '신호'와 순위를 바꿀 수 있는 무관한 변동인 '노이즈'를 분리합니다. 연구 결과는 다음과 같습니다: (1) 신뢰성은 측정 목표에 따라 달라집니다. 고정된 모델-스캐폴드 시스템은 안정적으로 순위가 매겨지지만(0.935–0.994), 기반 모델의 신뢰성은 상당히 낮습니다(0.148–0.841). (2) 스캐폴드 선택이 결론을 바꿀 수 있습니다. 스캐폴드 간 신뢰성은 스캐폴드가 모델 순위를 보존하는지 여부를 측정하며, 스캐폴드 효과가 평가 전반에 걸쳐 크게 달라짐을 보여줍니다. (3) 더 많은 태스크가 모든 불확실성을 해결할 수는 없습니다. 제한된 스캐폴드 커버리지가 불확실성을 지배하는 경우, 유사하게 구성된 태스크를 무한히 많이 추가하더라도 벤치마크의 모델 순위 신뢰성은 기껏해야 0.097만 향상됩니다. (4) 다양한 벤치마크를 풀링(pooling)하면 더 적은 비용으로 교차 태스크 순위를 개선할 수 있습니다. 다양한 에이전트 태스크 전반의 순위 평가에서 벤치마크를 풀링하면 동일한 태스크 예산에서 예상 신뢰성이 0.44에서 0.75로 상승하며, 예상 비용을 최대 83%까지 줄일 수 있습니다. 평가 설계는 의도한 주장을 따라야 합니다. 즉, 점수나 순위가 무엇을 의미해야 하는지 식별하고, 신뢰성을 제한하는 요인을 진단하며, 중요한 불확실성의 원인에 평가 예산을 투입해야 합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.