프로세스 보상 모델(PRM)은 테스트-타임 스케일링(TTS) 방법을 안내하는 데 매우 효과적임이 입증되어, 대규모 언어 모델(LLM) 기반 멀티 에이전트 시스템의 역량을 크게 향상시킨다. 그러나 기존 PRM은 텍스트 기반으로, 전체 궤적 텍스트를 처음부터 다시 인코딩한다. 긴 멀티 에이전트 롤아웃에서는 시퀀스 길이 L에 대해 이차적으로 증가하는 채점 비용이 심각한 계산 병목을 야기하여, 긴 컨텍스트 시나리오에서 PRM의 적용을 크게 제한한다. 이를 해결하기 위해 우리는 KV-PRM을 제안한다. KV-PRM은 LLM의 생성 단계에서 자연스럽게 생성되는 KV 캐시를 직접 읽음으로써 무거운 텍스트 재인코딩을 제거하는 고효율 프로세스 보상 모델이다. 기존 KV 캐시에 대해 단일 "검증 토큰"만을 처리함으로써, KV-PRM은 채점 비용을 O(L²)에서 O(L)로 줄인다. 우리는 KV 캐시가 텍스트보다 엄밀하게 더 큰 정보 용량을 포함하며, 하위 보상 모델링에 더 효율적임을 형식적으로 증명한다. 실험적으로, MATH, GSM8K, AIME 벤치마크 전반에 걸쳐 KV-PRM은 빔 서치(Beam Search), MCTS, 가중 투표(Weighted Voting)와 같은 다양한 TTS 방법 하에서 텍스트 기반 PRM과 동등하거나 이를 엄밀하게 능가하며, 텍스트 기반 PRM 대비 채점 FLOPs에서 최대 5,000배, 지연 시간에서 37배, 시퀀스당 메모리 사용량에서 34배 감소를 달성한다.
추론 모델은 테스트 시간 스케일링(test-time scaling)의 이점을 얻을 수 있지만, 지속적인 추론은 비효율적이거나 오히려 해로울 수 있으며, 이를 오버씽킹(overthinking) 현상이라고 부릅니다. 전체 추론(full thinking)을 기준으로 한 평가는 정확도와 토큰 사용량을 비교하지만, 오버씽킹의 심각도 및 각 전략의 이론적 완화 잠재력에 대한 기준이 부족합니다. 모델-작업 수준에서 오버씽킹의 특성을 규명하기 위해, 본 연구에서는 먼저 고정된 샘플링 추론 궤적을 따라 보존된 여러 접두사(prefix)로부터 반복적으로 답변을 생성하는 단계별 절단 프로빙(Step-wise Truncation Probing, STP)을 도입합니다. 각 궤적에서 최대 실증적 정확도에 도달하는 가장 이른 측정 위치를 기준으로 삼아, 이후 생성된 추론 토큰의 비율을 오버씽킹 비율(Overthinking Ratio)로, 해당 기준점 대비 전체 추론까지의 정확도 하락을 정확도 저하(Accuracy Degradation)로 각각 정의합니다. 둘째로, 다양한 종료 전략의 이론적 완화 잠재력을 정량화하기 위해 동적 라우팅(dynamic routing), 고정 예산(fixed budgets), 동적 조기 종료(dynamic early exit)를 통합된 프레임워크 내에서 정식화합니다. 이 통합 프레임워크를 기반으로 완전한 STP 측정값을 활용하여 공통의 정규화된 추론 토큰 예산 하에서 각 전략에 대한 토큰-정확도 파레토 프론티어(Pareto frontier)를 구축합니다. 나아가 6개 모델과 4개 벤치마크 그룹에 걸쳐 705억 개의 추론 토큰 및 해당 프로빙 측정값을 생성한 STP 프로세스로부터 구축된 재사용 가능한 벤치마크인 OTBench를 개발합니다.
다중 응답을 샘플링하면 언어 모델의 추론 성능이 향상되지만, 균일한 연산 할당은 쉬운 질문에는 과도하게 샘플링되고 어려운 질문은 충분히 탐색되지 않아 비효율적이다. 우리는 \textbf{불확실성 인지 예산 할당(Uncertainty-Aware Budget Allocation, UAB)}을 제안한다. 이는 초기 샘플 자체로부터 추정된 불확실성을 이용하여 고정된 샘플링 예산을 재할당하는 오목(concave) 정수 최적화 프레임워크이다. 1단계(Phase-1)에서는 모든 질문에 적은 수의 고정된 생성(generation)이 할당된다. 이 생성 결과들의 답변 불일치는 투표 엔트로피(vote entropy)로 측정되어 난이도 신호를 제공하며, 동시에 이 생성 결과들은 최종 투표에도 반영된다. 2단계(Phase-2)에서는 나머지 예산이 마진-그리디(marginal-greedy) 알고리즘에 의해 할당되는데, 이 알고리즘은 오목 커버리지 최대화(concave coverage-maximization) 대리 문제를 최적으로 풀어 초기 답변이 일치하지 않는 질문에 샘플을 집중시킨다. 1.5B~27B 파라미터 규모의 5개 공개 가중치(open-weight) 모델과 난이도가 다양한 5개의 추론 벤치마크에 걸쳐, UAB는 균일 할당에 비해 평균 정확도를 $+2.3\%$ 향상시키며, 개별 벤치마크에서는 최대 $+5.5\%$의 향상을 달성하고, 가장 큰 향상은 저자원(low-resource) 환경에서 나타난다. 또한 UAB는 목표 예산을 정확히 충족하며, 보조 모델이나 추가적인 LLM 호출을 필요로 하지 않는다. 코드는 https://github.com/manhitv/UAB 에서 공개되어 있다.
대규모 언어 모델(LLM)을 활용한 추론은 여러 사고의 연쇄(Chain-of-Thought)를 생성할 때 효과를 보는 경우가 많지만, 기존의 통합 전략은 대개 궤적 수준(예: 최적의 경로 선택 또는 최종 답변에 대한 투표)에 머물러 있어 부분적이거나 '거의 정답에 가까운' 시도에서 나온 유용한 중간 과정을 버리게 됩니다. 본 논문에서는 저비용 디퓨전 샘플링 기반 추론을 재사용 가능한 단계별 후보 풀로 변환하는 자기 일관성(self-consistency) 프레임워크인 '노이즈가 있는 디퓨전 사고 스티칭(Stitching Noisy Diffusion Thoughts)'을 제안합니다. 문제가 주어지면, (i) 마스크드 디퓨전 언어 모델을 사용하여 다양하고 비용이 적게 드는 추론 궤적을 다수 샘플링하고, (ii) 상용 프로세스 보상 모델(PRM)로 모든 중간 단계를 점수화하며, (iii) 궤적 전반에서 가장 품질이 높은 단계들을 결합(stitch)하여 복합적인 논리적 근거(rationale)를 만듭니다. 이렇게 생성된 논리적 근거는 최종 답변만을 재계산하는 데 사용됩니다. 이 모듈형 파이프라인은 탐험(디퓨전)을 평가 및 솔루션 종합과 분리하여, 광범위한 탐색을 유지하면서도 단일 통합형 하이브리드 구조를 피합니다. 수학 추론 벤치마크 전반에서 단계별 재조합은 더 어려운 문제에서 가장 큰 이점을 보였으며, 절제 연구(ablation)를 통해 결합되었지만 불완전한 근거를 정확한 답변으로 변환하는 최종 솔버의 중요성을 확인했습니다. 병렬적이고 독립적인 롤아웃을 갖춘 저신뢰도 디퓨전 샘플링을 활용한 당사의 학습 불필요(training-free) 프레임워크는 6개의 수학 및 코딩 태스크 전반에서 평균 정확도를 최대 23.8% 향상시킵니다. 동시에 기존 디퓨전 모델(예: Dream, LLaDA) 및 통합형 아키텍처(예: TiDAR) 대비 최대 1.8배의 지연 시간(latency) 감소를 달성합니다. 코드는 https://github.com/roymiles/diffusion-stitching 에서 확인할 수 있습니다.
대규모 추천 시스템을 확장(scaling)하려면 더 긴 사용자 이력 처리, 후보군 확장, 모델(model) 용량 증대라는 세 가지 주요 영역의 발전이 필요합니다. 트랜스포머(Transformer)는 유망하지만, 연산 비용이 사용자 시퀀스 길이에 따라 이차적으로 증가하고 후보군 수에 따라 선형적으로 증가합니다. 이러한 절충 관계(trade-off)로 인해 상당한 성능 향상에도 불구하고 추론(inference) 시 후보군을 확장하거나 시퀀스 길이를 늘리는 데 막대한 비용이 발생합니다. 본 논문에서는 이러한 절충 관계를 해결하는 새로운 아키텍처인 LIME을 소개합니다. 두 가지 핵심 혁신을 통해 LIME은 연산 복잡도를 근본적으로 줄입니다. 첫째, 로우랭크(low-rank) "링크 임베딩(link embeddings)"은 사용자와 후보 간의 상호작용을 분리하여 어텐션(attention) 가중치를 사전 계산할 수 있도록 함으로써, 추론 비용이 후보군 크기에 거의 영향을 받지 않도록 만듭니다. 둘째, 선형 어텐션 메커니즘인 LIME-XOR는 사용자 시퀀스 길이에 따른 복잡도를 이차($O(N^2)$)에서 선형($O(N)$)으로 감소시킵니다. 공개 데이터셋과 산업 데이터셋을 활용한 실험 결과, LIME은 최첨단(SOTA) 트랜스포머와 유사한 성능을 달성하면서도 대규모 후보군이나 긴 시퀀스 길이에서 10배($10\times$) 빠른 추론 속도 향상을 입증했습니다. 주요 추천 플랫폼에서 테스트했을 때, LIME은 후보군 크기 및 사용자 이력 길이에 따른 추론 비용을 최소한으로 유지하면서 사용자 참여도를 향상시켜 효율적이고 표현력 있는 추천 시스템을 위한 새로운 패러다임을 확립했습니다.
여러 해법을 샘플링하는 것은 최종 답변뿐만 아니라 중간 연역 과정과 미완성된 논증에도 연산량을 소모합니다. 본 논문에서는 선택적 생성 조정(selective generative moderation)을 통해 이러한 후보 추론 과정을 재사용하는, 학습(training)이 필요 없는 추론(inference) 절차인 ReSolve를 소개합니다. 답변 분포 제어기는 후보 간 의견이 일치하지 않거나 파싱 가능한 답변이 부족할 때 모델을 호출하여 기존 유도 과정을 검토하게 한 뒤, 생성된 해법을 유계 루프(bounded loop)에 통합합니다. 독립적으로 샘플링된 두 개의 후보 풀로 평가한 130개의 경시대회 수학 문제에서 Hybrid 점수 체계 기준, ReSolve는 동일한 4개의 후보에 대한 투표 방식이 기록한 91개 및 92개와 비교해 각각 100개와 99개의 정답을 얻었으며, 두 풀 모두에서 해당 투표 대비 정답이 오답으로 바뀐 경우는 없었습니다. 8개 샘플을 사용한 자기 일관성(self-consistency)은 실질적으로 훨씬 더 많은 토큰을 소비하면서 94개 및 96개의 정답을 얻은 반면, ReSolve는 두 평가에서 토큰을 각각 46.3% 및 47.2% 적게 사용했습니다. 정답 키, 투표 수, 상태별 출력 제한 규칙은 유지한 채 가시적인 유도 과정을 제거한 통제된 절제 연구(ablation)에서는 연산량이 증가했음에도 정답 수가 100개에서 93개로 감소하여 정확도가 떨어졌습니다. 선택적 조정과 항상 켜져 있는 균일(Uniform) 조정은 모두 97개의 문제를 해결했으나, 선택성을 적용함으로써 조정 토큰을 약 54%, 전체 파이프라인 토큰을 6.2% 줄였습니다. 이러한 결과는 후보 추론 과정이 재사용 가능한 추론 연산이라는 점을 뒷받침합니다. 다만 추가 샘플링 대비 정확도 우위나 특화된 경로 지침의 뚜렷한 이점을 입증하지는 않습니다.
테스트 시점 스케일링(test-time scaling)과 사후 학습(post-training)은 코딩 및 수학적 추론 분야에서 대규모 언어 모델(LLM)의 성능을 향상시켰으나, 개인 입장 예측(individual stance prediction)에 대한 효과는 여전히 불분명하다. 본 연구에서는 개인의 과거 이력으로부터 새로운 토론에서 해당 인물의 입장을 예측함으로써 이 문제를 탐구한다. 널리 사용되는 테스트 시점 스케일링 전략과 지도 미세조정(supervised fine-tuning), 강화학습(reinforcement learning) 등의 사후 학습 기법을 평가하고, 생성, 선택, 학습 전반에 걸친 네 가지 실패 양상을 식별한다: (1) 반복된 샘플들이 잘못된 입장에 동의하는 부정확한 합의(incorrect consensus), (2) 생성 단계에서는 관찰된 입장을 포함하지만 선택 단계에서 이를 놓치는 선택 실패(selection failure), (3) 지도 미세조정이 모방 능력은 향상시키지만 예측에는 악영향을 미치는 응답 과적합(response overfitting), (4) 강화학습이 초기에 완만한 성능 향상을 보인 후 추가적인 개선이 제한되는 조기 정체(early plateau). 저자들은 500명의 Hacker News 사용자로부터 추출한 2,499개의 예측 태스크를 포함하는 STANCE-BENCH를 사용하여 이러한 실패 양상을 밝혀낸다. 이러한 분석을 바탕으로, 모든 후보 입장에 대한 직접 점수와 개인의 이력에서 얻은 지지 여부에 대한 명시적 평가를 결합하는 간단한 접근 방식을 탐색한다. 781개 태스크로 구성된 테스트 세트에서 이 접근 방식은 Qwen3-8B를 통해 21.83의 토론 특정 Macro F1을 달성하여 직접 채점의 19.27과 대비되는 성능을 보였다. 본 연구 결과는 후보 생성, 최종 선택, 개인별 근거 활용을 분리하여 평가할 필요성을 제시한다. 데이터셋은 https://github.com/stance-bench/Stance-Bench 에서 이용할 수 있다.
오프라인 다중 에이전트 강화학습(MARL)은 지속적인 트레이드오프에 직면해 있습니다. 표현력이 뛰어난 생성형 정책은 데이터의 다중 모달 조정을 표현할 수 있지만 고가치 영역을 구분하지 못하며, 가치 최적화 정책은 학습된 Q-함수를 활용하지만 다중 모달을 단일 지배 모드로 붕괴시킵니다. 단일 에이전트의 모드 붕괴는 공동 조정을 무너뜨릴 수 있고, 에이전트 전반의 동시 드리프트는 공동 정책을 행동 공간의 미확인 영역으로 밀어 넣을 수 있습니다. 본 논문에서는 테스트 시점 행동 개선을 통해 생성형 파운데이션 모델과 학습된 가치 함수를 결합한 최초의 오프라인 MARL 프레임워크인 SCOUT(Scalable Coordination via Optimal Unified Transport)를 제안합니다. SCOUT는 두 가지 분리된 구성 요소를 학습합니다: 흐름 매칭 행동 사전 분포와 분해된 가치 함수입니다. 테스트 시점에는 스타인 변분 경사하강법(Stein variational gradient descent)을 통해 행동 샘플을 고가치 영역으로 이동(transport)시킵니다. 이동 단계의 수는 적응형 테스트 시점 스케일링을 제어하여 고정된 정규화 계수를 대체합니다. 개별-글로벌-최대(IGM) 원칙 하에서, 이동이 수렴함에 따라 소멸하는 공동 소프트-가치 격차에 대한 단일 항 KL 경계를 증명하며, 이는 IGM 위반에 비례하는 줄일 수 없는 가산 잔차를 갖습니다. 실증적으로 SCOUT는 이산 및 연속 오프라인 MARL 벤치마크 전반에서 최고의 평균 성능을 달성하며 모든 오프라인-온라인 구성에서 성능 향상을 가져옵니다.
공유된 연산 블록(computation block)으로 잠재 상태(latent state)를 반복적으로 갱신하는 순환 모델(recurrent model)은 복잡한 추론(reasoning) 과제를 해결하기 위한 강력한 아키텍처로 부상했다. 기존의 추론 시점(inference-time) 방법들은 더 많은 단계를 실행하거나 더 많은 궤적(trajectory)을 샘플링하여 연산량을 확장하지만, 각 궤적 내에서 드러나는 정보는 무시한다. 본 연구에서는 순환 모델이 재학습 없이 자신의 리드아웃(readout) 확률을 사용하여 잠재 동역학(latent dynamics)을 조향함으로써 추론 시점에 개선될 수 있음을 보인다. 우리는 Readout Feedback(RoFB)을 제안하는데, 이는 중간 예측(intermediate prediction)을 토큰 단위의 쌍별(pairwise) 결합력(coupling force)으로 변환하여 잠재 동역학에 주입하는 테스트 시점(test-time) 개입 기법이다. 스도쿠(Sudoku)와 미로(Maze) 과제에서 세 가지 순환 모델(AKOrN, ItrSA++, TRM)에 대해, RoFB는 6개의 모델-과제 쌍 중 4개에서 명확한 성능 향상을, 1개에서는 작은 향상을 가져온다. 성능이 향상된 4개의 쌍은 단순히 더 많은 단계를 실행하거나 여러 궤적 중에서 선택하는 방식으로는 달성할 수 없는 성능을, 비슷하거나 더 낮은 연산 비용으로 달성한다. 이러한 결과는 잠재 동역학의 폐루프(closed-loop) 조향이 순환 추론 모델을 위한 보완적인 추론 시점 제어 메커니즘으로 기능할 수 있음을 시사한다.
하네스 진화(harness evolution)는 태스크 피드백을 활용하여 대규모 언어 모델(LLM) 에이전트에 사용되는 후보 하네스를 반복적으로 평가하고 수정하는 반복적 탐색 절차입니다. 본 연구에서는 이러한 자동 하네스 진화 절차의 평가 방식을 재검토하고, 해당 프로토콜에서 두 가지 근본적인 문제를 확인합니다. 첫째, 선행 연구들은 동일한 피드백 및 추론(inference) 예산 하에서 이러한 접근법을 단순한 태스크 수준 탐색 기준선(baseline)과 비교하지 않았습니다. 둘째, 선행 연구들은 진화된 하네스의 최종 성능을 보고하는 동일한 벤치마크에서 추출된 검증 신호(예: 단위 테스트 케이스)를 사용하여 하네스 구성을 탐색함으로써, 학습(training) 데이터와 테스트 데이터 간의 표준적인 분리 원칙을 위반했습니다. 이를 해결하기 위해, 본 연구는 유사한 피드백 및 추론 예산 하에서 자동 하네스 진화를 단순한 테스트 타임 스케일링(test-time scaling) 및 탐색 기준선과 비교하고, 일반화 능력을 평가하기 위해 유보된(held-out) 태스크에서 진화된 하네스를 평가합니다. 선행 연구를 따라 Terminal-Bench 2.1에서 실험을 진행한 결과, 자동 하네스 진화는 테스트 케이스의 유무와 관계없이 단순한 테스트 타임 스케일링 방식을 능가하지 못했으며 제한적인 일반화 성능을 보였습니다. 그러나 본 연구는 장기적(long-horizon) 게임이 개선의 여지가 충분할 만큼 난도가 높고, 분포 외(out-of-distribution) 동역학에 대한 적응에 크게 의존하며, 설계상 세분화된 피드백을 제공한다는 점에서 자동 하네스 진화에 유망한 환경임을 발견했습니다. 이러한 환경에서 태스크 특화 하네스 진화는 동일한 예산 조건에서 ARC-AGI-3 기준선 대비 80.0%, EdgeBench 기준선 대비 10.9% 향상되었습니다. 종합하면, 이러한 결과는 진정한 하네스 개선과 벤치마크 특화 탐색 및 과적합(overfitting)을 구분하기 위해 예산이 일치된 기준선과 유보 데이터 평가가 필요함을 강조하며, 자동 하네스 진화가 실제로 유용한 시점에 대해 보다 신중한 특성 분석이 필요함을 시사합니다. 코드 번들은 https://github.com/rethinking-harness-evolution 에서 확인할 수 있습니다.
테스트 시점 연산(test-time compute)의 확장은 대규모 언어 모델(LLM)의 성능을 향상시키는 강력한 메커니즘으로 부상했습니다. 그러나 지도 미세조정(SFT) 및 강화학습(RL)과 같은 표준적인 사후 학습 패러다임은 기본 정책 하에서 개별 샘플의 가능도를 최적화하므로, 집계되거나 필터링된 출력에 의존하는 테스트 시점 절차와의 불일치를 유발합니다. 본 연구에서는 학습 목표를 테스트 시점 전략과 정렬하는 연산 정렬 학습(Compute Aligned Training)을 제안합니다. 추론 전략을 기본 정책에 작용하는 연산자(operator)로 개념화함으로써, 해당 전략이 적용될 때 성능을 극대화하는 새로운 손실 함수를 도출합니다. 또한 일반적인 테스트 시점 전략 전반에 걸쳐 SFT 및 RL을 위한 이러한 손실 함수를 구체화합니다. 마지막으로, 본 학습 방법이 표준 학습 대비 테스트 시점 스케일링을 실질적으로 개선한다는 경험적 증거를 제시합니다.
여러 대규모 언어 모델(LLM) 응답에 대한 투표는 테스트 시간 스케일링(test-time scaling)과 앙상블(ensemble) 추론(inference)에서 널리 쓰이는 기본 연산(primitive)입니다. 더 많은 응답을 수집하면 후보 집합이 확장되어 정답이 발견될 가능성이 높아질 수 있습니다. 그러나 고정된 호출 예산 내에서는 발견된 답변이라도 최종적인 다수결(plurality) 승자가 되기 위해 남은 호출 횟수 내에서 충분한 지지를 축적해야 하므로, '발견과 결정 간의 격차(discovery-to-decision gap)'가 발생합니다. 본 연구에서는 실현된 투표 상태와 남은 호출 예산을 통해 이러한 격차를 특성화합니다. 저자들은 명확한 회복 가능성 임계값(recoverability threshold)을 유도하고, 샘플링이 진행됨에 따라 관찰된 후보 집합은 확장되기만 하는 반면 도달 가능한 최종 승자 집합은 축소되기만 하여 후보 수준의 전환 창(conversion window)이 유도됨을 보입니다. 지정된 독립동일분포(iid) 응답 법칙 하에서, 동일한 상태를 통해 정확한 유한 구간(finite-horizon) 최종 확률을 도출할 수 있습니다. 나아가 오답 식별자를 병합하는 것은 단일 호출 정확도를 보존하면서도 다수결 정확도를 향상시킬 수 없으며, 오답 확률 재분배의 효과는 실현된 투표 상태에 따라 달라짐을 보입니다. 단일 원소 도달 가능성(singleton reachability)은 정답 레이블이 필요 없는(gold-free) 정확한 잠금 보증서(locking certificate)를 제공합니다. 알려진 답변 공간(universe)에 대해, 이 보증서의 최초 작동 시점은 모든 허용 가능한 연속 과정이 동일한 고정 예산 출력을 생성하는 가장 빠른 접두 문맥(prefix)에 해당합니다. 실증적으로, 발견되었으나 선택되지 못한 대부분의 정답은 발견된 이후에야 비로소 도달 가능성을 상실합니다. 통제된 Word16 실험에서, 입력 순열(permutation)은 단일 호출 정확도를 본질적으로 유지하면서도 원시 다수결 정확도를 21.1%p 향상시켰습니다. 또한 정확한 잠금 기법은 16회 호출 예산에서 모든 고정 예산 출력을 보존하면서도 호출 수를 28-30% 절감합니다.
월드 모델(world model) 플래너는 일반적으로 상상된 모든 전이(transition)에 동일한 연산량을 할당하면서 더 먼 단계까지 롤아웃(rollout)하거나, 더 많은 궤적을 샘플링하거나, 더 오래 최적화하는 방식으로 외적 스케일링(scaling outward)을 수행합니다. 본 논문에서는 모든 전이를 일률적으로 더 깊게 만드는 것이 연산량을 낭비하고, 유용한 개선이 소수의 의사결정상 핵심적인(decision-critical) 사건에 집중되어 있기 때문에 플래닝 성능을 저하시킬 수 있음을 보입니다. 이에 따라 전이 깊이를 내부의 테스트 시점 스케일링(test-time scaling) 축으로 취급하고, 각 후보 및 롤아웃 단계마다 추가적인 순환 업데이트를 계산할 가치가 있는 시점을 학습하는 가중치 공유(weight-tied) 결합 임베딩 예측(joint-embedding predictive) 월드 모델인 DeepJEPA를 제안합니다. 다섯 가지 시각 제어 환경에서 DeepJEPA는 전이당 평균 1.00~1.26회의 업데이트만을 수행하면서도 가장 강력한 고정 깊이 플래너의 성능을 능가하거나 대등한 수준을 달성합니다. 추가적인 연산은 접촉 시작 및 지속적인 물체 상호작용에 집중되며, 여기서 잠재 수정(latent correction)은 어떤 후보가 플래너의 엘리트 세트에 진입하고 어떤 행동이 선택되는지를 바꿀 수 있습니다. 또한 표현 프로브(representation probe) 분석을 통해 플래닝 성능 향상이 물체 상태 디코딩 가능성의 일률적인 개선을 필요로 하지 않음을 보입니다. 따라서 DeepJEPA는 월드 모델 스케일링을 플래너의 결정을 바꿀 수 있는 곳에 내부 연산을 할당하는 문제로 재구성합니다. 즉, 모든 롤아웃을 일률적으로 더 깊게 혹은 더 길게 만드는 대신 의사결정상 핵심적인 전이에서 더 깊이 사고하는 것입니다.
병렬 사고의 연쇄(parallel Chain-of-Thought)에서 발생하는 다양성 붕괴(diversity collapse)는 자연스러운 설계를 기반으로 한 추론 시점 개입 방식을 촉발했습니다. 즉, 과정 보상 모델(PRM)이 체인을 가지치기(pruning)할 때 높은 PRM 점수를 받은 접두 문맥을 추출하여 여전히 디코딩 중인 형제 체인에 문맥 내 데모(in-context demonstration)로 그대로 접목하는 방식입니다. 본 연구에서는 궤적 간 단계 수준 전이(cross-trajectory step-level transfer)의 가장 비용 효율적인 구현체로서 PRM 가지치기 파편 접목(PPFG, PRM-Pruned Fragment Grafting) 메커니즘을 분리하고, 선행 파편 접목 연구들이 추가적인 보완 요소 하에서만 성능 향상을 보고했던 작동 지점에서 이를 테스트합니다. 전체 MATH500(n=500, 3개 시드)에서 Math-Shepherd와 결합한 Qwen2.5-7B-Instruct를 대상으로 평가한 결과, 정체 타깃팅 및 무작위 타깃팅 변형 PPFG 모두 측정된 모든 축에서 독립적인 병렬 CoT 기준선과 통계적으로 구별되지 않았습니다. 본 논문은 그 이유를 규명합니다. 322건의 정체 규칙 주입 이벤트를 4개 버킷으로 분류한 결과, 진정으로 어려움을 겪고 있는 체인을 타깃으로 삼은 경우는 14%에 불과했습니다. 나머지는 이미 성공했거나, 완료 직전이거나, 평평한 PRM 고원(plateau)에 머물러 있어 구원 접목으로 상태를 바꿀 수 없는 체인에 적용되었습니다. 어떠한 복합 게이트 정밀화도 잘 타깃팅된 발화와 적절한 밀도를 동시에 달성하지 못했으며, 무작위 대조군 역시 2.4배의 발화율에서도 동일한 동등성을 보여 이러한 비활성(inertness)이 특정 휴리스틱에 국한된 것이 아님을 확인했습니다. 이러한 발견은 3개의 기반 LM, 6개의 벤치마크, 두 번째 PRM, 호환성 게이트 탐색 전반에 걸쳐 재현되었으며, 양측 단측 검정(TOST) 분석을 통해 12개 Qwen/LLaMA 셀 모두에서 동등성이 통계적 동등성으로 확증되었습니다. 이벤트별 점검 결과 주입된 체인은 매칭 단계 대비 2.75배의 비율로 가지치기되지만, 생존 형제 반사실적 분석(surviving-sibling counterfactual)에서는 집단 수준의 보상이 발견되지 않았습니다. 사후 오라클(hindsight oracle)은 독립 방식 대비 PPFG 선택으로 인한 문제당 이득의 상한을 +0.13%p로 제한합니다. 본 연구는 모든 주장을 테스트된 작동 지점으로 범위를 한정하며, 추론 시점 메커니즘 영가설(nulls)을 확립하기 위한 동등성 검정 템플릿을 제공합니다.
테스트 시점 스케일링(test-time scaling)은 동결된 모델에서 여러 응답을 샘플링하여 더 나은 답변을 도출하고자 하지만, 기존의 온도 샘플링(temperature sampling)은 모든 후보를 동일하고 고정된 계산 경로를 따라 생성합니다. 본 논문에서는 디코더 레이어의 특정 블록을 재사용함으로써 서로 다른 순전파 계산 경로를 통해 후보군을 생성하는 무학습(training-free) 기법인 구조적 샘플링(architectural sampling)을 소개합니다. 블록의 위치와 반복 횟수를 다양화하면 모델 가중치를 업데이트하거나 보조 파라미터를 추가하지 않고도 계산적 다양성을 도입할 수 있습니다. 5개의 Qwen 체크포인트와 12개의 멀티모달 벤치마크에 걸쳐, 구조적 샘플링은 동일한 9개 후보 예산에서 표준 경로 온도 샘플링 대비 pass@9을 평균 6.58%p 향상시킵니다. 초기 레이어를 재사용할 때 가장 큰 성능 향상을 보였으며, 후보 커버리지의 개선은 그리디 디코딩(greedy decoding) 하에서도 지속됩니다. 이렇게 생성된 후보들은 어휘적 중복도가 낮으며, 라벨이 없는 테스트 시점 강화학습을 위한 롤아웃(rollout)으로 사용될 때 정확도를 향상시킵니다. 이러한 결과는 구조적 샘플링의 이점이 후보 커버리지를 넘어 확장되며, 모델 자체 출력으로부터 더 효과적인 학습이 가능함을 보여줍니다.
병렬 브랜치를 활용한 테스트 시점 스케일링(test-time scaling)은 어려운 추론 과제의 성능을 향상시키기 위해 널리 채택되고 있다. 가장 널리 쓰이는 접근법인 반복 샘플링(repeated sampling)은 단일 정책에서 브랜치를 독립적으로 추출하기 때문에 중복된 시도가 발생할 수 있으며, 이로 인해 추가 추론 연산으로 얻을 수 있는 이득이 제한된다. 이러한 한계를 해결하기 위해 본 논문은 독립 샘플링을 조율된 결합 정책(joint policy)으로 대체하는 계획 기반 테스트 시점 스케일링(Planned Test-Time Scaling, PTTS)을 제안한다. 플래너(planner)가 각 브랜치에 대한 풀이 개요(outline)를 생성하여 브랜치들이 서로 다른 추론 경로를 향하도록 유도하고, 실행기(executor)가 각 개요를 조건으로 전체 풀이를 생성한다. 형식적으로, 우리는 PTTS가 반복 샘플링을 엄밀하게 일반화하며, 단순화된 설정에서 상호 보완적인 추론 방식(reasoning mode)의 커버리지를 증가시키고 더 나은 pass@k 스케일링을 낳음을 증명한다. 우리는 강력한 추론 모델 위에서 PTTS를 구현하며, 이 모델들을 실행기로 고정한 채 반복 샘플링을 PTTS 추론으로 대체하여 테스트 시점 스케일링을 더욱 향상시킨다. 구체적으로 두 가지 변형을 개발한다. PTTS-ZS는 모델이 단일 자기회귀(autoregressive) 패스에서 모든 브랜치의 개요를 함께 생성하도록 프롬프트하는 방식이며, PTTS-RL은 효율적인 학습과 더 선명한 보상 신호를 위해 절단된 실행 롤아웃(truncated execution rollout)을 사용하여 pass@k 보상에 대해 플래너를 직접 최적화한다. Qwen3-1.7B와 4B를 사용한 다섯 개의 수학적 추론 벤치마크에서, PTTS-ZS는 반복 샘플링 대비 pass@64를 최대 6.7포인트 향상시켰으며, PTTS-RL은 이 향상 폭을 최대 13.4포인트까지 더 늘렸다. 추가 분석은 서로 다른 추론 경로를 더 폭넓게 포괄하는 것이 이러한 성능 향상에 기여함을 보여준다. 종합하면, PTTS는 추론 브랜치를 조율함으로써 테스트 시점 스케일링을 개선하는 범용 프레임워크를 제공하며, 제로샷 방식과 학습 가능한 방식의 구현 모두에서 상당한 성능 향상을 얻는다.
문맥 내 모방 학습은 로봇이 시연으로부터 기술을 습득하게 하지만, 원샷(one-shot) 궤적 생성은 환경 변화 하에서 여전히 취약하다. 우리는 로봇 모방을 테스트 시간 연산량에 따라 스케일링할 수 있는 반복적 정제 문제로 재구성하는 프레임워크 SAIL을 제안한다. SAIL은 몬테카를로 트리 탐색(Monte Carlo Tree Search)을 활용하며, 각 노드는 완전한 궤적이고 간선은 궤적 정제에 대응한다. 이 과정은 세 가지 핵심 구성 요소로 이끌린다: 문맥적으로 관련 있는 검색을 위한 성공 궤적의 자동 아카이브, 궤적 평가를 위한 비전-언어 모델 기반 채점 메커니즘, 반복적 정제를 위해 궤적에 정렬된 점수를 제공하는 단계 수준 피드백. 시뮬레이션과 실제 환경 검증에서 여섯 가지 다양한 조작 작업에 걸친 실험은 테스트 시간 연산량을 늘리면 성공률이 일관되게 향상되며, 복잡한 작업에서 최대 95%에 달함을 분명히 보여준다. 우리 결과는 궤적 수준의 테스트 시간 스케일링이 더 일반화 가능한 로봇 에이전트를 향한 견고한 경로임을 시사한다.
테스트 타임 스케일링(Test-Time Scaling)은 추론 연산량을 스케일링함으로써 복잡한 문제를 해결하는 데 뚜렷한 효과를 보여 왔다. 그러나 대규모 오디오-언어 모델(LALM)에서는 직관에 어긋나는 현상이 존재한다. 구조화된 추론 궤적을 목표로 사후 학습한 모델은 직접 답변을 목표로 사후 학습한 경우에 비해 이득이 미미하거나 오히려 음의 이득을 보인다. 이를 조사하기 위해, 오디오 추론 오류를 정밀하게 정량화하도록 설계된 평가 프레임워크 CAFE를 도입한다. 평가 결과, LALM은 추론 과정에서 지각(perception)에 어려움을 겪으며 중요한 병목에 직면함을 밝혔다. 추론 길이가 길어질수록 추론 성능이 오디오 지각 저하의 영향을 받는다. 이에 대응하여, 동적 지각 추론을 촉진하고 복잡한 질문을 지각 정보가 풍부한 하위 문제로 분해하는 패러다임 MPAR²를 제안한다. 강화학습을 활용한 MPAR²는 CAFE에서 지각 성능을 31.74%에서 63.51%로 높이고 지각 저하를 효과적으로 완화하며, 동시에 추론 능력을 강화하여 MMAU 벤치마크에서 74.59%의 정확도를 달성한다. 추가 분석은 MPAR²가 LALM이 오디오 입력에 주의를 기울이도록 강화하고, 과제 복잡도에 맞게 추론 예산을 동적으로 조절함을 보여준다.
테스트 타임 스케일링(test-time scaling)은 어려운 추론 과제에서 언어 모델을 개선하는 효과적인 방법으로 부상했다. 그러나 기존 방법의 대부분은 각 문제를 독립적으로 다루며, 이전 추론 궤적(trajectory)의 지식을 체계적으로 재사용하지 않는다. 특히 절차적 지식—문제를 재구성하고, 접근 방식을 선택하며, 필요할 때 검증하거나 되돌아가는 방법—을 충분히 활용하지 못한다. 우리는 Reasoning Memory를 제안한다. 이는 추론 모델을 위한 검색-증강 생성(RAG) 프레임워크로, 절차적 지식을 대규모로 명시적으로 검색하고 재사용한다. 기존의 단계별 추론 궤적 코퍼스에서 출발하여, 각 궤적을 자기완결적인 하위 질문-서브루틴(subroutine) 쌍으로 분해하고, 이를 통해 3,200만 개의 간결한 절차적 지식 항목으로 이루어진 데이터스토어를 구축한다. 추론 시, 경량 in-thought 프롬프트를 통해 모델이 핵심 하위 질문을 언어화하고, 추론 trace 내에서 관련 서브루틴을 검색하며, 다양하게 검색된 서브루틴을 암묵적 절차적 사전(prior)으로 삼아 추론한다. 수학, 과학, 코딩 벤치마크 6개에 걸쳐 Reasoning Memory는 문서, 궤적, 템플릿 지식을 활용한 RAG와, 연산량이 맞춰진 테스트 타임 스케일링 기준선을 일관되게 능가한다. 더 높은 추론 예산 하에서, 모델과 과제 전체에 걸친 평균적으로 검색 없음 대비 19.5%, 연산량이 맞춰진 기준선 대비 8.9% 개선을 보인다. 소거 연구(ablation study)는 이러한 이득이 두 가지 핵심 요인에서 비롯됨을 보여준다: 원본 궤적의 넓은 절차적 커버리지와, 절차적 지식의 효과적인 추출 및 재사용을 함께 가능하게 하는 우리의 분해 및 검색 설계. 실험 코드는 https://github.com/facebookresearch/reasoning-memory 에서 이용할 수 있다.
추론 시점 연산의 스케일링은 복잡한 추론 및 프로그래밍 과제에서 대규모 언어 모델(LLM)의 성능을 향상시키는 신뢰할 수 있는 방법으로 부상했다. 그러나 독립 샘플링(independent sampling)과 순차적 다중 턴 정제(sequential multi-turn refinement)와 같은 표준 접근법은 토큰 수준의 credit assignment 없이 동작하여, 유효한 추론 접두 문맥이 자주 폐기되기 때문에 계산 비효율이 발생한다. 본 연구에서는 고정 또는 환경 피드백을 활용해 토큰 수준의 오류 국소화를 수행하는 추론 시점 알고리즘인 Test-Time Scaling via Error Localization(TTEL)을 제안한다. 정보가 제공된 피드백 하에서의 조건부 확률을 null-context 기준선과 비교함으로써, TTEL은 오류가 발생한 단계를 분리한다. 그다음 알고리즘은 궤적을 잘라내고 새로운 생성을 분기하여, 유효한 접두 문맥을 최대한 재사용한다. 광범위한 평가 결과, TTEL은 생성 토큰 비용 대비 pass-at-k로 측정한 순차 추론 영역 전반에서 엄격하게 우위에 있는 파레토 프런티어를 형성함을 보여준다. LiveCodeBench에서 Qwen3-8B를 사용할 때, TTEL은 독립 샘플링이 생성하는 토큰 수(735.0k)의 약 절반(360.4k)만 생성하면서 pass@64 71.0%를 달성한다. 수학 벤치마크 AIME-2025와 HMMT-2025로 일반화할 때, TTEL은 Qwen3-8B와 Qwen3-4B-Thinking-2507 모두에서 경쟁하는 테스트 시점 기준선들을 명확히 능가한다.