PyTorchKR Papers

최신 논문

총 22편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.04096v2cs.AI

Forethought: 신경기호 프리미티브 프로그래밍을 통한 검증 가능한 추론

Forethought: Verifiable Reasoning from Neurosymbolic Primitive Programming

Modern agentic workflows decompose user requests into sequences of tool calls with correctly resolved parameters, the results of which are processed through reasoning traces in the language model's context window. The prevailing route to improving such reasoning is test-time scaling, which trains models to search over long chains of thought; but the resulting capability is entangled in model weights, cannot be checked step by step, and is costly at inference. We present Forethought, a neurosymbolic reasoning system built from a library of symbolic and neural primitives composed through a typed domain-specific language. The results are reasoning programs: concrete representations of the model's work, in which every step carries an output contract that is checked at design time and enforced at execution time. Symbolic steps hold by construction, while learned steps are contract-checked and empirically validated, giving an explicit boundary between what is guaranteed and what is measured. Instantiated as a tool-calling execution kernel and evaluated on four standard tool-calling benchmark suites, Forethought improves end-to-end accuracy by a median of 32% relative to prompting the same base model directly, and reaches the highest aggregate accuracy among the evaluated configurations, though only by a margin within single-run noise over a frontier model. Systems pairing small open models with Forethought's fixed small-model layer match that frontier model, and a pipeline with a non-reasoning responder outperforms its reasoning sibling while requiring only a single fine-tuning stage. Removing the contract-and-control layer erases most of these gains, showing that checked structure, not decomposition alone, drives the improvement. Our results show the potential of rich symbolic orchestrators for building language-model agents that are more accurate, reliable, and auditable.

arXiv:2610.03320v1cs.AI

정제는 명료도를 높이고 탐색은 화자 동일성을 높인다: 마스크 확산 TTS에서 테스트 시점 연산의 역할

Refinement Buys Intelligibility, Search Buys Identity: What Test-Time Compute Buys in Masked-Diffusion TTS

텍스트 음성 변환(TTS)을 위한 확산 언어 모델(Diffusion language model)은 두 가지 형태의 연산, 즉 모델 깊이(파라미터 수)와 정제 스텝(추론 예산)을 결합합니다. 본 연구에서는 이 두 요소가 여러 성능 전반에 걸쳐 동일하게 확장(scale)되는지 질문을 던집니다. 2,000시간의 음성 데이터로 깊이(1,900만~1억 3,300만 파라미터, 3개 시드)를 다양화한 15개의 마스크 확산 코덱 TTS 모델을 학습하고, 추론 시 정제 스텝 T를 [1, 16] 범위에서 스윕(sweep)하며 174명의 미보유(held-out) 화자에 대해 ASR 단어 오류율(명료도)과 화자 검증(화자 동일성)을 통해 제로샷 합성을 측정합니다. 측정된 하한선 대비 정제는 명료도 범위의 86.2%를 좁히지만 화자 동일성 범위는 46.4%만 좁혀, 여러 오류 지표 전반에서 일관되게 나타나는 1.86배의 비대칭성을 보입니다. 3배 및 6배 스케줄로 재학습하면 이 격차가 완화되기는 하지만(1.84배에서 1.36배, 1.23배로 감소) 역전되지는 않는데, 이는 명료도가 스텝 수에 따라 포화되는 반면 화자 동일성은 계속 개선되기 때문입니다. Best-of-K 탐색은 정제가 실패하는 부분에서 화자 동일성을 회복하며, 네 가지 독립된 인코더 전반에서 64.6~79.0%의 승률을 달성합니다. 깊이와 스텝은 상호 대체 가능하지 않으며, 분리 가능한 B(d)B(T) 모델이 대체 모델보다 유의미하게 더 잘 적합합니다(Delta AICc=+69.3). 분석 결과 남아 있는 화자 동일성 결손의 62%는 생성기가 아닌 코덱에 존재하는 것으로 나타났습니다. 결론적으로 정제와 깊이는 서로 다른 병목을 겨냥하므로 별도로 최적화되어야 합니다.

arXiv:2606.23595v2cs.AI

SPIRAL: 탐색과 취합의 학습

SPIRAL: Learning to Search and Aggregate

언어 모델(language model)의 추론 능력은 단일 경로(trace) 내의 순차적 추론, 독립적으로 샘플링된 병렬 경로, 그리고 여러 추론 경로를 하나의 최종 응답으로 취합(aggregation)하는 것과 같은 다양한 기본 요소(primitive)에 걸쳐 추론 연산량을 확장하는 스캐폴드를 통해 테스트 시점에 크게 향상될 수 있습니다. 그러나 사후 학습(post-training) 과정에서 언어 모델은 일반적으로 단일 경로 내의 순차적 추론에 대해서만 최적화됩니다. 본 논문에서는 통일된 추론 연산 파이프라인의 일환으로 언어 모델이 이 세 가지 기본 요소를 모두 활용하도록 학습시키는 프레임워크인 SPIRAL(Sequential-Parallel-Aggregative Reinforcement Learning)을 제안합니다. 구체적으로, 언어 모델은 먼저 순차적 사고의 연쇄(Chain-of-Thought) 추론을 통해 생성된 독립적인 경로 집합을 병렬로 샘플링한 다음, 해당 경로들을 조건으로 하여 최종 취합 경로를 생성합니다. 이때 모든 구성요소는 최종 취합된 응답의 보상(reward)을 기준으로 엔드투엔드로 최적화됩니다. 이러한 시스템을 학습시키기 위해, SPIRAL은 집합 강화학습(set reinforcement learning)을 사용하여 모델이 취합기(aggregator)에 집합적으로 유용한 경로 집합을 생성하도록 유도하고, 표준 강화학습을 통해 해당 집합을 더 개선된 최종 응답으로 취합하도록 학습시킵니다. 추론 태스크에 대한 실험 결과에 따르면 SPIRAL은 추론 연산량에 따라 효과적으로 확장되며, 세 가지 연산 기본 요소를 모두 확장했을 때 GRPO 대비 최대 11배의 스케일링 효율성과 15% 더 높은 성능을 달성함을 보여줍니다.

arXiv:2606.04402v2cs.AI

모든 오류가 동일하지는 않다: 결과 인식 추론 연산 할당

Not All Errors Are Equal: Consequence-Aware Reasoning Compute Allocation

테스트 시점 연산(test-time compute)은 추론(inference) 시 대규모 언어 모델(LLM)의 능력을 향상시키는 효과적인 패러다임으로 부상했습니다. 기존 할당 전략은 주로 난이도, 불확실성, 또는 예상 성능 향상에 따라 작업의 우선순위를 정하며, 이는 예측 오류의 비용이 모두 동일하다고 암묵적으로 간주합니다. 이러한 가정은 하위 작업에 따라 실패의 여파가 크게 달라질 수 있는 실제 배포 환경과 일치하지 않는 경우가 많습니다. 이러한 한계를 해결하기 위해 본 논문은 추가 연산의 한계 이득과 함께 작업의 실패 결과(consequence)를 우선순위로 삼는 비용 가중 스케줄링 문제를 공식화하여 결과 인식(consequence-aware) 테스트 시점 연산 할당을 제안합니다. 그러나 실제로는 실행 전에 한계 이득을 예측하기 어렵기 때문에, 결과를 라우팅 신호로 사용하는 배포 가능한 스케줄러를 제안합니다. 이 스케줄러는 솔루션 도출 전 입력으로부터 작업 결과를 예측하고 상위 작업에 가용한 프리미엄 연산을 할당합니다. SWE-bench Lite에서의 실험은 결과가 작업 난이도를 넘어선 정보를 제공하며 문제 해결 전에 예측될 수 있음을 보여줍니다. 고정된 연산 예산 하에서 결과 인식 라우팅은 전반적인 정확도를 경쟁력 있게 유지하면서도 중대한 결과를 초래하는 작업에서 최고의 성공률을 달성합니다. 통제된 모델 내 실험은 추론 시도 횟수만 재할당할 때도 동일한 이점이 있음을 추가로 확인합니다.

arXiv:2609.27588v1cs.LG

역량 다양체와 ML 스케일링 법칙

The Capability Manifold and ML Scaling Laws

기존 머신러닝(ML) 스케일링 법칙은 예측 손실을 연산량, 모델 파라미터, 데이터에 연관 짓는다. 그러나 모델이 에이전트(agentic) 하네스를 통해 점점 더 배포됨에 따라, 손실만으로는 다운스트림 성능을 특성화하기에 불충분하다. 유사한 손실을 가진 모델이 추론, 검색(retrieval), 계획(planning), 적응(adaptation)에서 서로 다른 역량을 보일 수 있다. 아직도 이러한 역량을 ML 수명 주기 전반에 걸쳐 이용 가능한 결합된 자원과 연결하는 통일된 프레임워크는 없다. 이 간극을 메우기 위해 우리는 역량 다양체(capability manifold)를 도입한다. 이는 경계가 있는 스케일링 함수를 통해 다운스트림 역량을 사전학습, 사후 학습, 테스트 시점 자원에 매핑하는 다차원 프레임워크이다. 해석적 야코비안(Jacobians)은 자원 변화 및 상호작용에 대한 역량 민감도를 정량화한다. 초기 적용으로, 우리는 Kaplan형 및 Chinchilla형 스케일링 법칙과 테스트 시점 연산(test-time compute)을 프레임워크 내에 내장하여, 기존 스케일링 관계가 공통 역량 다양체 상의 궤적으로 통합될 수 있음을 보여준다.

arXiv:2609.26704v1cs.CL

반복 샘플링을 넘어서: LLM 추론을 위한 탐색 정책 학습

Beyond Repeated Sampling: Learning Search Policies for LLM Reasoning

대규모 언어 모델(LLM)은 테스트 시간 연산(test-time compute)을 더 많이 투입하여 고난도 추론 문제를 점진적으로 해결하고 있지만, 여전히 지배적인 전략은 단순 반복 샘플링(naive repeated sampling)에 머물러 있습니다. 즉, 다수의 독립적인 해결책을 생성하고 그중 하나가 정답이기를 기대하는 방식입니다. 이러한 샘플링은 국소적 디코딩 노이즈(local decoding noise)만을 통해 탐험(exploration)을 수행하므로, 진정으로 차별화된 아이디어보다는 거의 중복에 가까운 시도를 다수 생성하는 경향이 있습니다. 본 연구에서는 문제별 개념, 힌트 또는 전략을 먼저 샘플링한 다음 이에 기반하여 답변 생성을 조건화함으로써 시맨틱 수준에서 탐험을 유도할 수 있는지 질문을 던집니다. 이를 단일 궤적(single trajectory) 내에서 다양하고 많은 개념을 도출하는 단순하면서도 더욱 탐험적인 절차로 구체화하고, 반복 샘플링이 어려움을 겪는 고난도 문제에서 이를 평가합니다. 나아가 개념 생성을 학습 가능하도록 발전시킵니다. 즉, 강화학습(reinforcement learning)을 통해 소형 개념 생성 모델을 최적화하여, 이 모델이 생성한 개념이 동결된(frozen) 더 큰 답변 생성 모델의 다운스트림 성공을 극대화하도록 합니다. 고난도 수학 추론 문제에서, 학습된 개념 생성 모델은 동일한 답변 생성 연산량 할당 하에서 단순 반복 샘플링 대비 답변 생성 모델의 pass@k를 실질적으로 향상시키고, 튜닝되지 않은 훨씬 더 큰 모델에서 추출한 개념의 성능을 능가하며, 학습 과정에서 접하지 않은 다른 계열의 모델을 포함한 답변 생성 모델로도 전이됩니다. 따라서 소형 모델을 훨씬 더 큰 모델을 위한 효과적이고 재사용 가능한 탐색 정책(search policy)으로 학습시킬 수 있습니다.

arXiv:2607.20594v1cs.LG

순환은 언제 알고리즘이 되는가? 가중치 공유 루프 트랜스포머의 수렴 선택

When Does Recurrence Become an Algorithm? Convergence Selection in Weight-Tied Looped Transformers

가중치 공유 루프 트랜스포머—동일 블록을 T번 적용하는 구조—는 언제 실제 알고리즘을 구현하는가? 우리는 군(group) 단어 문제에 대한 통제된 집단 실험에서 네 가지 발견으로 이에 답한다. (1) 예산 법칙: 자유 학습(free training)은 선형 계산 프론티어를 설치하며, 이는 루프당 v개 위치를 푸는 메커니즘이고 그 속도는 학습 계약(training contract)에 의해 가격이 매겨진다: v ~ n_train/T_train (지수 0.98 +/- 0.04, R^2=0.99), T=n 학습에서는 정확히 1. SGD는 계약이 요구하는 최소치에 맞는 프론티어를 선택한다; 학습보다 더 많은 테스트-타임 루프를 허용하면 고정 입력 길이에서 후반 위치를 구제하며, 원칙적인 정지 규칙 T* = ceil(n / v-hat)을 도출한다. (2) 알고리즘을 고르는 것은 표현력(expressivity)이 아니라 아키텍처 사전 지식(prior)이다: 표준 깊이 트랜스포머는 이 계열에서 병렬 스캔을 학습하고, 가중치 공유는 로그 깊이 스캔을 위한 위치 주소 지정(positional addressing)이 제공되어도 선택을 직렬 프론티어로 뒤집는다. 깊이와 파라미터를 맞춘 경우, 비공유(untied) 모델은 외삽(extrapolation)이 가장 나쁘고 A5를 전혀 학습하지 못한다. (3) 장벽은 회로 복잡도(circuit complexity)가 말하는 위치에 있지 않다: NC1-완전성은 비용이 없고(A5는 완전히 일반화), 반면 군의 차수(group order)는 비용이 든다(S5의 120×120 연산자가 공동 학습을 교착시킴)—그리고 연산자 우선(operator-first) 커리큘럼은 모든 시드에서 장벽을 해소한다. (4) 메커니즘은 이식 가능(portable)하지만 강제 가능(mandatable)하지 않다: 예산 계약 간 웜 스타트(warm-starting)는 모든 시드에서 알고리즘을 전이시키며 속도를 재가격하고, 입력 스케줄을 통해 직렬성을 강제하는 것은 자유 학습이 성공하는 곳에서 실패한다. 이 결과들은 학습된 루프가 수렴하는 고정점에서 증명 가능하게 포화(saturate)하는 표준 측정 도구(instruments)로는 보이지 않는다. 우리는 헤드 측정 도구인 수렴-시간 스케일링 tau(n,i)를 도입하고, 기울기가 v를 재현하는 손상 원뿔(damage cones)을 통해 인과적으로 검증하며, 분포 내(in-distribution) 헤드 측정이 꼬리(tail) 지표가 하지 못하는 분포 외(out-of-distribution) 운명을 예측함을 보인다. 결과는 공개 easy-to-hard 벤치마크에서 재현된다.

arXiv:2503.19877v3cs.CL

추론 모델을 평가자로 활용한 평가 시점 연산 스케일링

Scaling Evaluation-time Compute with Reasoning Models as Evaluators

언어 모델(LM)의 출력이 점점 더 자연스러워지면서, 그 품질을 평가하기는 그 어느 때보다 어려워지고 있다. 동시에, 테스트 시점 연산(test-time compute) 스케일링을 통해 언어 모델의 "사고" 시간을 늘리는 것은 수학과 코드 같은 영역의 도전적인 문제를 풀기 위한 효과적인 기법임이 입증되어 왔다. 여기서 자연스러운 질문이 제기된다: 테스트 시점 연산에 더 많은 자원을 투입하면 언어 모델의 평가 역량 또한 개선할 수 있는가? 이에 답하기 위해, 우리는 추론 모델—원래 긴 사고의 연쇄(Chain-of-Thought) 추론을 생성하는 언어 모델—을 평가자로 활용하는 방안을 조사한다. 구체적으로, 우리는 (1) 추론 모델을 사용하고, (2) 이러한 모델에 응답 전체(즉, 결과 평가)뿐만 아니라 응답의 각 단계를 개별적으로 평가(즉, 과정 평가)하도록 프롬프트를 주는 방식으로 더 많은 테스트 시점 연산을 활용하는 방법을 검토한다. 실험에서, 평가자의 성능은 더 많은 추론 토큰을 생성할수록 단조적으로 개선되는 것을 확인했으며, 이는 언어 모델 기반 생성에서 관찰된 추세와 유사하다. 또한, 이러한 더 정확한 평가자를 사용해 여러 생성 결과를 재순위화하고, 평가 시점에 더 많은 연산을 투입하는 것이 언어 모델의 문제 해결 역량을 개선하는 데 생성 시점에 더 많은 연산을 사용하는 것만큼 효과적일 수 있음을 보인다.

arXiv:2606.17930v2cs.AI

추론 연산이 프론티어 LLM 평가를 형성하는 방식

How Inference Compute Shapes Frontier LLM Evaluation

AI 평가는 도구 사용과 반복적 문제 해결을 수반하는 더 긴 궤적(trajectory)에서 이점을 얻는 더 어려운 과제로 점점 이동하고 있다. 그 결과 성능은 테스트 시점에 사용 가능한 연산의 양과 배분("추론 연산", inference compute)에 점점 더 민감해지고 있다. 그럼에도 많은 평가는 여전히 단일한 제한적 예산에서 성능을 보고하며, 이는 낮은 점수가 모델의 근본적 능력보다는 평가 설정을 반영할 수 있음을 의미한다. 이를 검증하기 위해, 우리는 소프트웨어 공학, 수학, 의학, 사이버보안에 걸친 7개의 어려운 벤치마크에서 최대 12개의 프론티어 언어 모델을 평가했다. 우리는 세 가지 단순한 추론 스케일링(inference-scaling) 개입을 결합한 통제된 설정을 사용했다: 더 큰 토큰 예산, 컨텍스트 압축(context compaction), 그리고 모델 자체 또는 최소한의 정확성 피드백(correctness feedback)에 의해 안내되는 반복 제출 시도. 우리는 세 가지 주요 결과를 발견했다. 첫째, 더 큰 토큰 예산은 사이버보안, FrontierMath, Humanity's Last Exam, TerminalBench를 포함해 여러 도메인의 벤치마크에서 성능을 상당히 향상시킨다. 둘째, 고정 예산 평가는 모델이 발전함에 따라 프론티어 역량을 점점 더 과소평가할 수 있다. 최신 모델은 큰 예산에서 더 높은 성능에 도달하며, 여기서 더 어려운 과제를 해결할 수 있게 되고 더 안정적으로 해결한다. 셋째, 벤치마크마다 어떤 추론 스케일링 방법이 가장 도움이 되는지가 다르다: 반복 제출은 전반적으로 성능을 향상시키지만, 더 큰 토큰 예산, 외부 피드백, 병렬 시도의 가치는 벤치마크에 따라 달라진다. 전반적으로 우리 결과는 벤치마크 점수가 프로토콜에 의존적임을 보여준다. 따라서 우리는 평가가 추론 시 연산의 함수로서 역량을 보고하고, 프로토콜 선택을 명시적으로 기술하며, 특히 안전성 또는 정책 관련 맥락에서 일치하는 예산 하에서 넓은 공유 연산 범위에 걸쳐 모델 세대를 비교해야 한다고 주장한다.

arXiv:2607.09693v1cs.LG

학습 불필요 LLM 추론을 위한 깊이-엔트로피 유도 샘플링

Depth-Entropy Guided Sampling for Training-Free LLM Reasoning

강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 지배적인 패러다임이 되었지만, 고비용의 학습과 정제된 데이터, 보상 신호를 필요로 한다. 최근 연구에서 테스트 시점에 날카롭게 조정된 기반 모델 분포로부터 샘플링하면 RL 이득의 상당 부분을 회복할 수 있음을 보였으나, 기존 방법들은 출력 층의 가능도에만 의존하며 트랜스포머 내부의 순전파 동역학을 무시한다. 우리는 층별 엔트로피 붕괴(entropy collapse)를 내재적 품질 신호로 활용하는 학습 불필요 테스트 시간 방법인 깊이-엔트로피 유도 샘플링(Depth-Entropy Guided Sampling, DEGS)을 제안한다. RL 사후학습 변형을 포함한 더 강력한 추론 모델들이 독특한 "후기 붕괴(late collapse)" 패턴을 나타냄을 관찰한다: 로짓 렌즈(logit-lens)로 디코딩된 엔트로피가 더 깊은 층에 이르러서야 수렴하기 시작하며 그 전까지는 높은 수준을 유지한다. 우리는 시퀀스별 붕괴 깊이 $D(\mathbf{x})$와, 시퀀스 가능도를 이 깊이-엔트로피 구조와 결합하는 결합 목적 함수 $π(\mathbf{x}) \propto p(\mathbf{x})^α\exp(βD(\mathbf{x}))$를 정의하고, 이를 MCMC 파워 샘플링 프레임워크(DEGS-MCMC) 내에서 구현한다. 3개의 오픈-가중치 모델과 4개의 추론 벤치마크에 걸쳐, 후보당 거의 우연 수준에 불과한 이 신호가 샘플링 궤적 전반에 걸쳐 누적되어 학습 불필요 방법 중 최첨단 정확도를 달성하며, 도메인 외부 및 어려운 분할에서 가장 큰 향상을 보인다—이는 정확히 가능도만으로는 부족한 상황이다—단 한 자릿수 퍼센트의 벽시계 시간 오버헤드로 이를 실현한다. DEGS는 GRPO가 학습된 수학 분할에서 자체 GRPO 기준선에 근소하게 못 미치지만, 세 모델 모두에서 GPQA 도메인 외부 성능은 이를 능가하며, 어떠한 학습, 보상 모델, 레이블 데이터도 사용하지 않는다.

arXiv:2607.11598v1cs.AI

Interaction Scaling: Grounding the Third Axis of Test-Time Compute

There are two standard ways to spend more compute at test time: let a model reason longer, or sample more attempts and keep one. Both share a hidden limit: they are internal. Every extra token comes from the same frozen weights and the same prompt, so neither can tell the model anything it does not already know. We study a third way, interaction: the model proposes an artifact, an external instrument observes how it actually behaves, and the model revises. Each cycle imports a real observation, so interaction breaks through the ceiling the other two hit. We argue that a single variable governs this third axis, grounding, and that it must hold on both sides of the loop. The feedback that drives revision must come from an instrument that actually observes the flaw, and so must the metric that scores the result. On hard coding tasks at a fixed token budget, reasoning-only and best-of-N sampling both plateau (the latter even when an oracle picks the best sample), while every interaction strategy keeps improving; our proposer-reviewer harness reaches a perfect 100% pass rate with no run-to-run variance, and the gain holds across three model families. On rendered visual artifacts, the usual judge (a vision-language model, or VLM, reading a screenshot) rates 14 of 15 visibly broken figures "perfect," because the screenshot hides the flaws before the judge can see them. A tool that measures the real layout instead shows the loop removing 40-74% of defects across four modalities; and that same VLM, used as the reviewer, makes slide layouts worse where the measuring tool repairs them. Interaction scaling is real and distinct from reasoning and sampling, but only visible when both the feedback and the metric are grounded.

arXiv:2607.08665v2cs.LG

재샘플링인가 재라우팅인가? 대규모 언어 모델(LLM)을 위한 예산 인식 테스트 타임 모델 선택

Resample or Reroute? Budget-Aware Test-Time Model Selection for Large Language Models

쿼리별 예산 내에서 기존 모델을 재샘플링할지 다른 모델로 재라우팅할지를 동적으로 결정하는 온라인 정책(RoR)을 제안하며, 단위 비용당 추정 한계 정확도를 기준으로 예산을 배분한다. 11개 오픈 가중치 모델 풀과 4개 벤치마크에서의 재현 실험 결과, RoR 정책이 단일 라우터·best-of-K·캐스케이드 등 기존 기준선 대비 비용-품질 파레토 프론트에서 우위를 보였으며, 특히 모델 이질성이 높은 벤치마크에서 성능 향상이 두드러졌다.

arXiv:2607.07748v1cs.LG

Selective Left-Shift: Turning Test-Time Compute and Difficulty-based Curation into Training Data for Low-Resource Code Generation

Julia, Ballerina 등 저자원 프로그래밍 언어(LRPL)에서 소규모 언어 모델(SLM)의 코드 생성 성능을 높이기 위해, 오프라인 추론 시점 컴퓨트로 검증된 합성 데이터를 생성한 뒤 SFT와 RLVR을 순차적으로 적용하는 3단계 파이프라인을 제안한다. Qwen3-8B에 적용 시 Julia 기준 MultiPL-E에서 최대 +7.6포인트, Agnostics LiveCodeBench에서 +14.2포인트를 달성하며 이전 SOTA 대비 데이터 1/3, 비용 1/6만으로 경쟁력 있는 성능을 보였다.

arXiv:2607.05391v2cs.AI

LLM-as-a-Verifier: 범용 검증 프레임워크

LLM-as-a-Verifier: A General-Purpose Verification Framework

추가 학습 없이 에이전트 태스크를 검증하는 범용 프레임워크 LLM-as-a-Verifier를 제안하며, 이산적 점수 대신 채점 토큰 로짓(logit)의 분포 기댓값으로 연속 점수를 산출해 점수 세분성, 반복 평가, 기준 분해 세 축에서 검증 스케일링이 가능함을 보인다. Terminal-Bench V2(86.5%), SWE-Bench Verified(78.2%), RoboRewardBench(87.4%), MedAgentBench(73.3%)에서 최고 성능을 달성하며, 강화학습(RL)의 밀집 보상 신호로도 활용해 SAC와 GRPO의 샘플 효율성을 향상시킨다.

arXiv:2502.15631v2cs.LG공식 코드 · Papers with Code

대규모 언어 모델에서 추론과 성능의 관계 — o3 (mini)는 더 길게가 아니라 더 효율적으로 생각한다

The relationship between reasoning and performance in large language models--o3 (mini) thinks harder, not longer

대규모 언어 모델(LLM)은 사고의 연쇄(Chain-of-Thought)와 강화학습(reinforcement learning)을 활용하여 수학적 추론에서 괄목할 만한 발전을 이루었다. 그러나 추론 토큰(token) 사용량과 정확도 향상 간의 상호작용에 대해서는 여전히 많은 미해결 질문이 남아 있다. 특히 세대에 걸쳐 모델(model)을 비교할 때, 성능 향상이 더 긴 추론 체인에서 비롯된 것인지 아니면 더 효율적인 추론에서 비롯된 것인지가 불분명하다. 우리는 Omni-MATH 벤치마크에서 o1-mini와 o3-mini 변형들에 걸쳐 추론 체인 길이를 체계적으로 분석하였으며, o3-mini (m)이 o1-mini보다 긴 추론 체인을 요구하지 않고도 더 높은 정확도를 달성함을 발견하였다. 또한 문제 난이도를 통제한 경우에도 모든 모델과 컴퓨팅 설정에서 추론 체인이 길어질수록 정확도가 전반적으로 저하됨을 보인다. 이러한 정확도 하락은 더 높은 성능의 모델에서 유의미하게 작게 나타나며, 이는 새로운 세대의 추론 모델이 테스트 시간 컴퓨팅을 보다 효과적으로 활용함을 시사한다. 마지막으로, o3-mini (h)가 o3-mini (m) 대비 소폭의 정확도 향상을 달성하지만, 이를 위해 o3-mini (m)이 이미 풀 수 있는 문제를 포함한 모든 문제에 걸쳐 상당히 더 많은 추론 토큰을 할당함을 강조한다. 이러한 발견들은 모델 역량과 추론 길이 간의 관계에 대한 새로운 통찰을 제공하며, 효율성, 스케일링(scaling), 그리고 평가 방법론에 시사점을 갖는다.

arXiv:2602.01070v5cs.CL

What If We Allocate Test-Time Compute Adaptively?

추론 시간 연산(test-time compute)을 문제별로 적응적으로 배분하기 위해, 과정 보상 모델(PRM)이 단계별 점수를 통해 추론 도구 선택·탐색 전략·궤적 생성을 동적으로 제어하는 검증자 유도 프레임워크를 제안한다. MATH-500, AIME24, AMO-Bench 등의 벤치마크에서 고정된 테스트 타임 스케일링 방식 대비 일관되게 높은 정확도를 달성하면서, 계산 집약도 지표를 통해 불필요한 연산을 줄이고 고효용 추론 경로에 연산을 집중시킴을 실증하였다.

arXiv:2511.12309v2cs.LG

Optimal Self-Consistency for Efficient Reasoning with Large Language Models

Self-consistency (SC) is a widely used test-time inference technique for improving performance in chain-of-thought reasoning. It consists of generating multiple responses, or ``samples", from a large language model (LLM) and selecting the most frequent answer. This procedure can naturally be viewed as a majority vote or empirical mode estimation. Despite its effectiveness, self-consistency is prohibitively expensive at scale when naively applied to datasets, and it lacks a unified theoretical understanding of sample efficiency and scaling behavior. In this paper, we provide the first comprehensive analysis of SC's scaling behavior and its variants, drawing on mode estimation and voting theory. We derive and empirically validate power law scaling for self-consistency across datasets, and analyze the sample efficiency for fixed-allocation and dynamic-allocation sampling schemes. From these insights, we introduce Blend-ASC, a novel variant of self-consistency that dynamically allocates samples to questions during inference, achieving state-of-the-art sample efficiency. Our approach uses 4.8 times fewer samples than vanilla SC on average, outperforming both fixed- and dynamic-allocation SC baselines, thereby demonstrating the superiority of our approach in terms of efficiency. In contrast to existing variants, we note that Blend-ASC is hyperparameter-free, supports batching, and can fit any budget of samples, ensuring it can be easily applied to any self-consistency application.

arXiv:2509.23946v3cs.LG

탐험-실행 체인(Explore-Execute Chain): 효율적인 구조화된 추론 패러다임을 향하여

Explore-Execute Chain: Towards an Efficient Structured Reasoning Paradigm

계획과 실행이 한 생성 trace에 얽혀 토큰을 낭비하는 문제를 해결하기 위해, 탐험-실행 체인(E²C)이 확률적 탐험 단계에서 간결한 고수준 계획을 세우고 결정적 실행 단계에서 이를 수행하도록 단일 모델 내에서 구조적으로 분리하며, Causal SFT와 RL로 이 분리를 학습한다. AIME'2024에서 E²C-ReAct Loop는 K=32 기준 12.4k 토큰으로 53.3% 정확도를 달성해 Tree-of-Thoughts를 능가했고, 계획 단계만 갱신하는 탐험 중심 SFT(EF-SFT)는 표준 SFT 대비 3.5% 토큰으로 의료 벤치마크 정확도를 최대 14.5% 향상시킨다.

arXiv:2606.18023v1cs.LG

LoopCoder-v2: 효율적인 테스트 시간 연산 스케일링을 위한 단 한 번의 루프

LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling

Looped Transformers는 공유 블록을 반복적으로 적용하여 잠재 연산(latent computation)을 스케일링하지만, 순차적 루핑은 루프 횟수에 따라 지연 시간과 KV-캐시 메모리를 증가시킵니다. Parallel loop Transformers (PLT)는 cross-loop position offsets (CLP)와 공유-KV 게이팅된 슬라이딩 윈도우 어텐션(attention)을 통해 이 비용을 완화하여, 루프 횟수를 실용적인 설계 선택 사항으로 만듭니다. 따라서 우리는 이득-비용(gain-cost) 관점을 통해 PLT 루프 횟수 선택을 연구합니다: 추가 루프는 표현(representation)을 정제할 수 있지만, CLP는 또한 각 루프 경계에서 위치 불일치(positional mismatch)를 도입합니다. 우리는 18T 토큰에 대해 처음부터 서로 다른 루프 횟수를 가진 7B 규모의 PLT 코더 계열인 LoopCoder-v2를 학습(training)시키고, 이어지는 일치하는 지시 미세조정(instruction tuning)과 평가를 통해 이 연구를 구체화합니다. 실증적으로, 2-루프 변형은 코드 생성, 코드 추론, 에이전트 소프트웨어 엔지니어링, 도구 사용 벤치마크 전반에서 비루프 기준선(baseline)에 비해 광범위한 이득을 제공하며, SWE-bench Verified를 43.0점에서 64.4점으로, Multi-SWE를 14.0점에서 31.0점으로 향상시켰습니다. 대조적으로, 3개 이상의 루프를 가진 변형은 성능이 저하되어(regress), 강력한 비단조적 루프 횟수 효과를 보여줍니다. 우리의 진단(diagnostics)에 따르면 루프 2는 주요 생산적 정제를 제공하는 반면, 이후 루프는 감소하고 진동하는 업데이트와 감소된 표현 다양성을 산출합니다. CLP로 유발된 불일치는 정제 이득이 감소함에 따라 대략 고정된 상태로 유지되기 때문에, 오프셋 비용이 점차 지배적이 됩니다. 이러한 이득-비용 상충 관계(gain-cost trade-off)는 PLT의 2루프에서의 포화를 설명하며, 루프 횟수 선택에 대한 진단을 제공합니다.

arXiv:2606.12402v1cs.RO

DIRECT: 임베디드 플래너에서 테스트 타임 컴퓨트를 언제 어디서 할당해야 하는가?

DIRECT: When and Where Should You Allocate Test-Time Compute in Embodied Planners?

비전-언어 모델(VLM) 기반 임베디드 플래너에서 테스트 타임 컴퓨트를 단순히 확장하는 것의 비효율성을 해결하기 위해, 멀티모달 장면 컨텍스트를 활용해 연산량을 동적으로 할당하는 라우팅 프레임워크인 DIRECT를 제안한다. 실제 로봇 팔 실험에서 이 방법은 더 강력한 모델과 대등한 성공률을 최대 65% 낮은 지연 시간으로 달성하여 효율적인 추론을 가능하게 했다.