arXiv:2605.26849v2 cs.CL

적응형 테스트 시점 추론을 위한 불확실성 인지 예산 할당

Uncertainty-Aware Budget Allocation for Adaptive Test-Time Reasoning

Manh Nguyen, Sunil Gupta, Hung Le

제출 2026-05-26

한국어 초록

다중 응답을 샘플링하면 언어 모델의 추론 성능이 향상되지만, 균일한 연산 할당은 쉬운 질문에는 과도하게 샘플링되고 어려운 질문은 충분히 탐색되지 않아 비효율적이다. 우리는 \textbf{불확실성 인지 예산 할당(Uncertainty-Aware Budget Allocation, UAB)}을 제안한다. 이는 초기 샘플 자체로부터 추정된 불확실성을 이용하여 고정된 샘플링 예산을 재할당하는 오목(concave) 정수 최적화 프레임워크이다. 1단계(Phase-1)에서는 모든 질문에 적은 수의 고정된 생성(generation)이 할당된다. 이 생성 결과들의 답변 불일치는 투표 엔트로피(vote entropy)로 측정되어 난이도 신호를 제공하며, 동시에 이 생성 결과들은 최종 투표에도 반영된다. 2단계(Phase-2)에서는 나머지 예산이 마진-그리디(marginal-greedy) 알고리즘에 의해 할당되는데, 이 알고리즘은 오목 커버리지 최대화(concave coverage-maximization) 대리 문제를 최적으로 풀어 초기 답변이 일치하지 않는 질문에 샘플을 집중시킨다. 1.5B~27B 파라미터 규모의 5개 공개 가중치(open-weight) 모델과 난이도가 다양한 5개의 추론 벤치마크에 걸쳐, UAB는 균일 할당에 비해 평균 정확도를 $+2.3\%$ 향상시키며, 개별 벤치마크에서는 최대 $+5.5\%$의 향상을 달성하고, 가장 큰 향상은 저자원(low-resource) 환경에서 나타난다. 또한 UAB는 목표 예산을 정확히 충족하며, 보조 모델이나 추가적인 LLM 호출을 필요로 하지 않는다. 코드는 https://github.com/manhitv/UAB 에서 공개되어 있다.

원문 초록

Sampling multiple responses improves language model reasoning, but uniform compute allocation is inefficient because easy questions are over-sampled while hard questions remain under-explored. We propose \textbf{Uncertainty-Aware Budget Allocation (UAB)}, a concave integer optimization framework that reallocates a fixed sampling budget using uncertainty estimated from the initial samples themselves. In Phase-1, every question receives a small fixed number of generations. Their answer disagreement, measured by vote entropy, provides a difficulty signal while these generations contribute to the final vote. In Phase-2, the remaining budget is allocated by a marginal-greedy algorithm that optimally solves a concave coverage-maximization surrogate, concentrating samples on questions whose initial answers disagree. Across five open-weight models (1.5B--27B parameters) and five reasoning benchmarks of varying difficulty, UAB improves average accuracy by $+2.3\%$ over uniform allocation, and achieves gains of up to $+5.5\%$ on individual benchmarks, with the largest gains in low-resource settings. Moreover, UAB meets the target budget exactly and requires no auxiliary model or additional LLM calls. Code is publicly available at https://github.com/manhitv/UAB.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.26849v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01140v2cs.AI공통 태그 self-consistency, test-time scaling

ReSolve: 선택적 생성 조정을 통한 후보 추론 재사용

ReSolve: Reusing Candidate Reasoning through Selective Generative Moderation

여러 해법을 샘플링하는 것은 최종 답변뿐만 아니라 중간 연역 과정과 미완성된 논증에도 연산량을 소모합니다. 본 논문에서는 선택적 생성 조정(selective generative moderation)을 통해 이러한 후보 추론 과정을 재사용하는, 학습(training)이 필요 없는 추론(inference) 절차인 ReSolve를 소개합니다. 답변 분포 제어기는 후보 간 의견이 일치하지 않거나 파싱 가능한 답변이 부족할 때 모델을 호출하여 기존 유도 과정을 검토하게 한 뒤, 생성된 해법을 유계 루프(bounded loop)에 통합합니다. 독립적으로 샘플링된 두 개의 후보 풀로 평가한 130개의 경시대회 수학 문제에서 Hybrid 점수 체계 기준, ReSolve는 동일한 4개의 후보에 대한 투표 방식이 기록한 91개 및 92개와 비교해 각각 100개와 99개의 정답을 얻었으며, 두 풀 모두에서 해당 투표 대비 정답이 오답으로 바뀐 경우는 없었습니다. 8개 샘플을 사용한 자기 일관성(self-consistency)은 실질적으로 훨씬 더 많은 토큰을 소비하면서 94개 및 96개의 정답을 얻은 반면, ReSolve는 두 평가에서 토큰을 각각 46.3% 및 47.2% 적게 사용했습니다. 정답 키, 투표 수, 상태별 출력 제한 규칙은 유지한 채 가시적인 유도 과정을 제거한 통제된 절제 연구(ablation)에서는 연산량이 증가했음에도 정답 수가 100개에서 93개로 감소하여 정확도가 떨어졌습니다. 선택적 조정과 항상 켜져 있는 균일(Uniform) 조정은 모두 97개의 문제를 해결했으나, 선택성을 적용함으로써 조정 토큰을 약 54%, 전체 파이프라인 토큰을 6.2% 줄였습니다. 이러한 결과는 후보 추론 과정이 재사용 가능한 추론 연산이라는 점을 뒷받침합니다. 다만 추가 샘플링 대비 정확도 우위나 특화된 경로 지침의 뚜렷한 이점을 입증하지는 않습니다.

arXiv:2610.01014v1cs.AI공통 태그 self-consistency, test-time scaling

발견에서 결정까지: 대규모 언어 모델(LLM) 투표에서의 유한 예산 회복 가능성

From Discovery to Decision: Finite-Budget Recoverability in LLM Voting

여러 대규모 언어 모델(LLM) 응답에 대한 투표는 테스트 시간 스케일링(test-time scaling)과 앙상블(ensemble) 추론(inference)에서 널리 쓰이는 기본 연산(primitive)입니다. 더 많은 응답을 수집하면 후보 집합이 확장되어 정답이 발견될 가능성이 높아질 수 있습니다. 그러나 고정된 호출 예산 내에서는 발견된 답변이라도 최종적인 다수결(plurality) 승자가 되기 위해 남은 호출 횟수 내에서 충분한 지지를 축적해야 하므로, '발견과 결정 간의 격차(discovery-to-decision gap)'가 발생합니다. 본 연구에서는 실현된 투표 상태와 남은 호출 예산을 통해 이러한 격차를 특성화합니다. 저자들은 명확한 회복 가능성 임계값(recoverability threshold)을 유도하고, 샘플링이 진행됨에 따라 관찰된 후보 집합은 확장되기만 하는 반면 도달 가능한 최종 승자 집합은 축소되기만 하여 후보 수준의 전환 창(conversion window)이 유도됨을 보입니다. 지정된 독립동일분포(iid) 응답 법칙 하에서, 동일한 상태를 통해 정확한 유한 구간(finite-horizon) 최종 확률을 도출할 수 있습니다. 나아가 오답 식별자를 병합하는 것은 단일 호출 정확도를 보존하면서도 다수결 정확도를 향상시킬 수 없으며, 오답 확률 재분배의 효과는 실현된 투표 상태에 따라 달라짐을 보입니다. 단일 원소 도달 가능성(singleton reachability)은 정답 레이블이 필요 없는(gold-free) 정확한 잠금 보증서(locking certificate)를 제공합니다. 알려진 답변 공간(universe)에 대해, 이 보증서의 최초 작동 시점은 모든 허용 가능한 연속 과정이 동일한 고정 예산 출력을 생성하는 가장 빠른 접두 문맥(prefix)에 해당합니다. 실증적으로, 발견되었으나 선택되지 못한 대부분의 정답은 발견된 이후에야 비로소 도달 가능성을 상실합니다. 통제된 Word16 실험에서, 입력 순열(permutation)은 단일 호출 정확도를 본질적으로 유지하면서도 원시 다수결 정확도를 21.1%p 향상시켰습니다. 또한 정확한 잠금 기법은 16회 호출 예산에서 모든 고정 예산 출력을 보존하면서도 호출 수를 28-30% 절감합니다.

arXiv:2607.20464v1cs.AI공통 태그 Uncertainty Quantification, self-consistency

확률적 샘플링은 인식론적으로 얕다: LLM에서 온도 변동과 모델 다양성 간 차원 격차

Stochastic Sampling is Epistemically Shallow: The Dimensionality Gap Between Temperature Variation and Model Diversity in LLMs

언어 모델이 반복 실행마다 다른 답을 낼 때, 그 변동이 모델이 모르는 것을 드러내는가? Self-consistency는 다수결 투표를 통해 그 변동을 질문별 불확실성 추정치로 바꾼다. 그러나 같은 변동이 교차-질문 구조—관련 질문들이 다양한 앙상블이 그러듯 함께 뒤집히는 현상—를 드러내는가? 우리는 동일한 질문들에 대해 두 가지 체제를 비교한다: $τ=1$에서 $100$회 실행한 단일 모델 대 $τ=0$에서 각각 1회씩 실행한 24개 LLM 앙상블. Marchenko--Pastur 무작위 행렬 검정이 양쪽 모두에서 신호와 샘플링 노이즈를 분리한다. 단일 모델 내에서는 5개 패밀리와 3개 벤치마크(MMLU, HellaSwag, GSM8K) 전반에 걸쳐 노이즈 위로 올라오는 차원은 최대 1개뿐이다. 앙상블에서는 4개의 고유값이 노이즈 경계를 넘지만, 난이도가 맞춰진 Bernoulli null은 $500$회 Monte Carlo 추출 중 최대 1개만 생성한다. Self-consistency는 질문별 불확실성은 정확하게 제공하지만 탐지 가능한 교차-질문 구조는 제공하지 않으며, 다양한 앙상블만이 모델이 모르는 것을 드러낸다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.