PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.26849v2cs.CL

적응형 테스트 시점 추론을 위한 불확실성 인지 예산 할당

Uncertainty-Aware Budget Allocation for Adaptive Test-Time Reasoning

다중 응답을 샘플링하면 언어 모델의 추론 성능이 향상되지만, 균일한 연산 할당은 쉬운 질문에는 과도하게 샘플링되고 어려운 질문은 충분히 탐색되지 않아 비효율적이다. 우리는 \textbf{불확실성 인지 예산 할당(Uncertainty-Aware Budget Allocation, UAB)}을 제안한다. 이는 초기 샘플 자체로부터 추정된 불확실성을 이용하여 고정된 샘플링 예산을 재할당하는 오목(concave) 정수 최적화 프레임워크이다. 1단계(Phase-1)에서는 모든 질문에 적은 수의 고정된 생성(generation)이 할당된다. 이 생성 결과들의 답변 불일치는 투표 엔트로피(vote entropy)로 측정되어 난이도 신호를 제공하며, 동시에 이 생성 결과들은 최종 투표에도 반영된다. 2단계(Phase-2)에서는 나머지 예산이 마진-그리디(marginal-greedy) 알고리즘에 의해 할당되는데, 이 알고리즘은 오목 커버리지 최대화(concave coverage-maximization) 대리 문제를 최적으로 풀어 초기 답변이 일치하지 않는 질문에 샘플을 집중시킨다. 1.5B~27B 파라미터 규모의 5개 공개 가중치(open-weight) 모델과 난이도가 다양한 5개의 추론 벤치마크에 걸쳐, UAB는 균일 할당에 비해 평균 정확도를 $+2.3\%$ 향상시키며, 개별 벤치마크에서는 최대 $+5.5\%$의 향상을 달성하고, 가장 큰 향상은 저자원(low-resource) 환경에서 나타난다. 또한 UAB는 목표 예산을 정확히 충족하며, 보조 모델이나 추가적인 LLM 호출을 필요로 하지 않는다. 코드는 https://github.com/manhitv/UAB 에서 공개되어 있다.

arXiv:2609.27917v1cs.LG

확산과 규모: 테스트-시간 예산 할당의 효용성을 결정하는 요인은 무엇인가

Spread and Scale: What Determines Whether Test-Time Budget Allocation Pays

신경 조합 최적화(Neural combinatorial optimization) 솔버는 난이도와 무관하게 모든 문제 인스턴스에 동일한 샘플 예산을 사용하여, 인스턴스당 여러 후보 해를 생성하고 그중 발견된 최선의 해를 보고합니다. 한 후속 연구에서는 고정된 예산을 더 어려운 인스턴스에 재할당함으로써 해의 품질을 향상할 수 있음을 보여주었으나, 이러한 개선을 측정하는 표준 방식에 편향이 존재함을 지적했습니다. 즉, 동일한 데이터에서 할당을 결정하고 평가하면 실제로는 이득이 없음에도 겉보기에 이득이 있는 것처럼 만들어낼 수 있다는 것입니다. 이로 인해 워크로드의 어떠한 특성이 재할당을 수행할 가치가 있는지를 결정하는지, 그리고 나머지 예산의 할당 방식을 결정하기 위해 예산의 일부를 소비하는 정책이 해당 비용을 감안한 후에도 여전히 유효한지(pays)에 대한 의문이 미해결 상태로 남았습니다. 본 논문은 외판원 문제(traveling salesman problem)에 대해 독립적으로 학습(training)된 세 가지 솔버와 더 어려운 워크로드를 구성하는 두 가지 방식을 대상으로, 데이터 수집 전에 분석 및 판정 기준을 확정한 사전 등록 확인 실험(pre-registered confirmatory experiments)을 통해 두 질문에 모두 답합니다. 우리가 연구한 워크로드 내에서 결정적인 특성은 워크로드의 평균 난이도가 아니라 워크로드 내 인스턴스들의 난이도가 얼마나 다양한지 여부입니다. 균일하게 쉽거나 균일하게 어려운 워크로드는 재할당의 여지가 거의 없는 반면, 난이도가 혼합된 워크로드는 상당한 여지를 제공합니다. 인스턴스 난이도에 대한 정보를 얻기 위해 자체 비용을 지불하는 예산 인식 정책은, 해당 정보가 무료라고 가정했을 때 얻을 수 있는 개선의 전부는 아니지만 대부분을 회수합니다. 모든 실험은 작성된 명세에 따라 독립적으로 재계산되었으며, 논문 자체의 주장을 약화시킨 두 가지 수정을 포함하여 이전 버전에 대한 모든 수정 사항은 결론이 바뀐 방향과 함께 보고됩니다. 본 논문은 구체적인 실증적 해답과 함께, 해당 해답이 측정 방식에 의해 발생한 인위적 결과(artifact)가 아님을 검증하기 위한 템플릿을 제공합니다.

arXiv:2606.11347v2stat.ML

순위 매기기 및 선택을 위한 어닐링 엔트로피 할당

Annealed Entropic Allocation for Ranking and Selection

우리는 정적 예산 할당의 어닐링된 가중 soft-min 공식화에 기반한 적응형 샘플링 정책인 어닐링 엔트로피 할당을 제안한다. maximin 대편차율(large-deviation rate) 목적함수를 soft-min 가중치를 통해 도전자(challenger)별 쌍별 점수를 혼합하는 가중 log-sum-exp 대리(surrogate)로 대체하여, 여러 도전자가 거의 활성 상태일 때 경직된 전환(hard switching)을 피한다. 선행 지수를 넘어서는 꼬리 동작을 포착하기 위해, 이 대리함수는 정교화된 쌍별 꼬리 젉근에서 유도된 saddlepoint 전계수를 포함한다. 이러한 보정항은 아지지수적(subexponential)이므로, 예산에 따라 어닐링 온도를 낮추면 동일한 1차 목표 할당이 보존된다. 정적 문제에 대해 hard minimum에 대한 균등 수렴, 활성 도전자에 대한 soft-min 가중치의 집중, 고정 가중치 하에서 유도된 목표-할당 사상의 연속성을 증명한다. 실험 결과, 제안 방법은 일관되게 경쟁력 있는 성능을 보인다: saddlepoint 없는 ablation은 대칭 Gaussian 및 exponential slippage 설정에서 가장 좋은 성능을 보이며, saddlepoint 가중화는 이질적 또는 비대칭 경우에 도움이 될 수 있다.