텍스트 음성 변환(TTS)을 위한 확산 언어 모델(Diffusion language model)은 두 가지 형태의 연산, 즉 모델 깊이(파라미터 수)와 정제 스텝(추론 예산)을 결합합니다. 본 연구에서는 이 두 요소가 여러 성능 전반에 걸쳐 동일하게 확장(scale)되는지 질문을 던집니다. 2,000시간의 음성 데이터로 깊이(1,900만~1억 3,300만 파라미터, 3개 시드)를 다양화한 15개의 마스크 확산 코덱 TTS 모델을 학습하고, 추론 시 정제 스텝 T를 [1, 16] 범위에서 스윕(sweep)하며 174명의 미보유(held-out) 화자에 대해 ASR 단어 오류율(명료도)과 화자 검증(화자 동일성)을 통해 제로샷 합성을 측정합니다. 측정된 하한선 대비 정제는 명료도 범위의 86.2%를 좁히지만 화자 동일성 범위는 46.4%만 좁혀, 여러 오류 지표 전반에서 일관되게 나타나는 1.86배의 비대칭성을 보입니다. 3배 및 6배 스케줄로 재학습하면 이 격차가 완화되기는 하지만(1.84배에서 1.36배, 1.23배로 감소) 역전되지는 않는데, 이는 명료도가 스텝 수에 따라 포화되는 반면 화자 동일성은 계속 개선되기 때문입니다. Best-of-K 탐색은 정제가 실패하는 부분에서 화자 동일성을 회복하며, 네 가지 독립된 인코더 전반에서 64.6~79.0%의 승률을 달성합니다. 깊이와 스텝은 상호 대체 가능하지 않으며, 분리 가능한 B(d)B(T) 모델이 대체 모델보다 유의미하게 더 잘 적합합니다(Delta AICc=+69.3). 분석 결과 남아 있는 화자 동일성 결손의 62%는 생성기가 아닌 코덱에 존재하는 것으로 나타났습니다. 결론적으로 정제와 깊이는 서로 다른 병목을 겨냥하므로 별도로 최적화되어야 합니다.
언어 모델(language model)의 추론 능력은 단일 경로(trace) 내의 순차적 추론, 독립적으로 샘플링된 병렬 경로, 그리고 여러 추론 경로를 하나의 최종 응답으로 취합(aggregation)하는 것과 같은 다양한 기본 요소(primitive)에 걸쳐 추론 연산량을 확장하는 스캐폴드를 통해 테스트 시점에 크게 향상될 수 있습니다. 그러나 사후 학습(post-training) 과정에서 언어 모델은 일반적으로 단일 경로 내의 순차적 추론에 대해서만 최적화됩니다. 본 논문에서는 통일된 추론 연산 파이프라인의 일환으로 언어 모델이 이 세 가지 기본 요소를 모두 활용하도록 학습시키는 프레임워크인 SPIRAL(Sequential-Parallel-Aggregative Reinforcement Learning)을 제안합니다. 구체적으로, 언어 모델은 먼저 순차적 사고의 연쇄(Chain-of-Thought) 추론을 통해 생성된 독립적인 경로 집합을 병렬로 샘플링한 다음, 해당 경로들을 조건으로 하여 최종 취합 경로를 생성합니다. 이때 모든 구성요소는 최종 취합된 응답의 보상(reward)을 기준으로 엔드투엔드로 최적화됩니다. 이러한 시스템을 학습시키기 위해, SPIRAL은 집합 강화학습(set reinforcement learning)을 사용하여 모델이 취합기(aggregator)에 집합적으로 유용한 경로 집합을 생성하도록 유도하고, 표준 강화학습을 통해 해당 집합을 더 개선된 최종 응답으로 취합하도록 학습시킵니다. 추론 태스크에 대한 실험 결과에 따르면 SPIRAL은 추론 연산량에 따라 효과적으로 확장되며, 세 가지 연산 기본 요소를 모두 확장했을 때 GRPO 대비 최대 11배의 스케일링 효율성과 15% 더 높은 성능을 달성함을 보여줍니다.
테스트 시점 연산(test-time compute)은 추론(inference) 시 대규모 언어 모델(LLM)의 능력을 향상시키는 효과적인 패러다임으로 부상했습니다. 기존 할당 전략은 주로 난이도, 불확실성, 또는 예상 성능 향상에 따라 작업의 우선순위를 정하며, 이는 예측 오류의 비용이 모두 동일하다고 암묵적으로 간주합니다. 이러한 가정은 하위 작업에 따라 실패의 여파가 크게 달라질 수 있는 실제 배포 환경과 일치하지 않는 경우가 많습니다. 이러한 한계를 해결하기 위해 본 논문은 추가 연산의 한계 이득과 함께 작업의 실패 결과(consequence)를 우선순위로 삼는 비용 가중 스케줄링 문제를 공식화하여 결과 인식(consequence-aware) 테스트 시점 연산 할당을 제안합니다. 그러나 실제로는 실행 전에 한계 이득을 예측하기 어렵기 때문에, 결과를 라우팅 신호로 사용하는 배포 가능한 스케줄러를 제안합니다. 이 스케줄러는 솔루션 도출 전 입력으로부터 작업 결과를 예측하고 상위 작업에 가용한 프리미엄 연산을 할당합니다. SWE-bench Lite에서의 실험은 결과가 작업 난이도를 넘어선 정보를 제공하며 문제 해결 전에 예측될 수 있음을 보여줍니다. 고정된 연산 예산 하에서 결과 인식 라우팅은 전반적인 정확도를 경쟁력 있게 유지하면서도 중대한 결과를 초래하는 작업에서 최고의 성공률을 달성합니다. 통제된 모델 내 실험은 추론 시도 횟수만 재할당할 때도 동일한 이점이 있음을 추가로 확인합니다.
기존 머신러닝(ML) 스케일링 법칙은 예측 손실을 연산량, 모델 파라미터, 데이터에 연관 짓는다. 그러나 모델이 에이전트(agentic) 하네스를 통해 점점 더 배포됨에 따라, 손실만으로는 다운스트림 성능을 특성화하기에 불충분하다. 유사한 손실을 가진 모델이 추론, 검색(retrieval), 계획(planning), 적응(adaptation)에서 서로 다른 역량을 보일 수 있다. 아직도 이러한 역량을 ML 수명 주기 전반에 걸쳐 이용 가능한 결합된 자원과 연결하는 통일된 프레임워크는 없다. 이 간극을 메우기 위해 우리는 역량 다양체(capability manifold)를 도입한다. 이는 경계가 있는 스케일링 함수를 통해 다운스트림 역량을 사전학습, 사후 학습, 테스트 시점 자원에 매핑하는 다차원 프레임워크이다. 해석적 야코비안(Jacobians)은 자원 변화 및 상호작용에 대한 역량 민감도를 정량화한다. 초기 적용으로, 우리는 Kaplan형 및 Chinchilla형 스케일링 법칙과 테스트 시점 연산(test-time compute)을 프레임워크 내에 내장하여, 기존 스케일링 관계가 공통 역량 다양체 상의 궤적으로 통합될 수 있음을 보여준다.
대규모 언어 모델(LLM)은 테스트 시간 연산(test-time compute)을 더 많이 투입하여 고난도 추론 문제를 점진적으로 해결하고 있지만, 여전히 지배적인 전략은 단순 반복 샘플링(naive repeated sampling)에 머물러 있습니다. 즉, 다수의 독립적인 해결책을 생성하고 그중 하나가 정답이기를 기대하는 방식입니다. 이러한 샘플링은 국소적 디코딩 노이즈(local decoding noise)만을 통해 탐험(exploration)을 수행하므로, 진정으로 차별화된 아이디어보다는 거의 중복에 가까운 시도를 다수 생성하는 경향이 있습니다. 본 연구에서는 문제별 개념, 힌트 또는 전략을 먼저 샘플링한 다음 이에 기반하여 답변 생성을 조건화함으로써 시맨틱 수준에서 탐험을 유도할 수 있는지 질문을 던집니다. 이를 단일 궤적(single trajectory) 내에서 다양하고 많은 개념을 도출하는 단순하면서도 더욱 탐험적인 절차로 구체화하고, 반복 샘플링이 어려움을 겪는 고난도 문제에서 이를 평가합니다. 나아가 개념 생성을 학습 가능하도록 발전시킵니다. 즉, 강화학습(reinforcement learning)을 통해 소형 개념 생성 모델을 최적화하여, 이 모델이 생성한 개념이 동결된(frozen) 더 큰 답변 생성 모델의 다운스트림 성공을 극대화하도록 합니다. 고난도 수학 추론 문제에서, 학습된 개념 생성 모델은 동일한 답변 생성 연산량 할당 하에서 단순 반복 샘플링 대비 답변 생성 모델의 pass@k를 실질적으로 향상시키고, 튜닝되지 않은 훨씬 더 큰 모델에서 추출한 개념의 성능을 능가하며, 학습 과정에서 접하지 않은 다른 계열의 모델을 포함한 답변 생성 모델로도 전이됩니다. 따라서 소형 모델을 훨씬 더 큰 모델을 위한 효과적이고 재사용 가능한 탐색 정책(search policy)으로 학습시킬 수 있습니다.
가중치 공유 루프 트랜스포머—동일 블록을 T번 적용하는 구조—는 언제 실제 알고리즘을 구현하는가? 우리는 군(group) 단어 문제에 대한 통제된 집단 실험에서 네 가지 발견으로 이에 답한다. (1) 예산 법칙: 자유 학습(free training)은 선형 계산 프론티어를 설치하며, 이는 루프당 v개 위치를 푸는 메커니즘이고 그 속도는 학습 계약(training contract)에 의해 가격이 매겨진다: v ~ n_train/T_train (지수 0.98 +/- 0.04, R^2=0.99), T=n 학습에서는 정확히 1. SGD는 계약이 요구하는 최소치에 맞는 프론티어를 선택한다; 학습보다 더 많은 테스트-타임 루프를 허용하면 고정 입력 길이에서 후반 위치를 구제하며, 원칙적인 정지 규칙 T* = ceil(n / v-hat)을 도출한다. (2) 알고리즘을 고르는 것은 표현력(expressivity)이 아니라 아키텍처 사전 지식(prior)이다: 표준 깊이 트랜스포머는 이 계열에서 병렬 스캔을 학습하고, 가중치 공유는 로그 깊이 스캔을 위한 위치 주소 지정(positional addressing)이 제공되어도 선택을 직렬 프론티어로 뒤집는다. 깊이와 파라미터를 맞춘 경우, 비공유(untied) 모델은 외삽(extrapolation)이 가장 나쁘고 A5를 전혀 학습하지 못한다. (3) 장벽은 회로 복잡도(circuit complexity)가 말하는 위치에 있지 않다: NC1-완전성은 비용이 없고(A5는 완전히 일반화), 반면 군의 차수(group order)는 비용이 든다(S5의 120×120 연산자가 공동 학습을 교착시킴)—그리고 연산자 우선(operator-first) 커리큘럼은 모든 시드에서 장벽을 해소한다. (4) 메커니즘은 이식 가능(portable)하지만 강제 가능(mandatable)하지 않다: 예산 계약 간 웜 스타트(warm-starting)는 모든 시드에서 알고리즘을 전이시키며 속도를 재가격하고, 입력 스케줄을 통해 직렬성을 강제하는 것은 자유 학습이 성공하는 곳에서 실패한다. 이 결과들은 학습된 루프가 수렴하는 고정점에서 증명 가능하게 포화(saturate)하는 표준 측정 도구(instruments)로는 보이지 않는다. 우리는 헤드 측정 도구인 수렴-시간 스케일링 tau(n,i)를 도입하고, 기울기가 v를 재현하는 손상 원뿔(damage cones)을 통해 인과적으로 검증하며, 분포 내(in-distribution) 헤드 측정이 꼬리(tail) 지표가 하지 못하는 분포 외(out-of-distribution) 운명을 예측함을 보인다. 결과는 공개 easy-to-hard 벤치마크에서 재현된다.
언어 모델(LM)의 출력이 점점 더 자연스러워지면서, 그 품질을 평가하기는 그 어느 때보다 어려워지고 있다. 동시에, 테스트 시점 연산(test-time compute) 스케일링을 통해 언어 모델의 "사고" 시간을 늘리는 것은 수학과 코드 같은 영역의 도전적인 문제를 풀기 위한 효과적인 기법임이 입증되어 왔다. 여기서 자연스러운 질문이 제기된다: 테스트 시점 연산에 더 많은 자원을 투입하면 언어 모델의 평가 역량 또한 개선할 수 있는가? 이에 답하기 위해, 우리는 추론 모델—원래 긴 사고의 연쇄(Chain-of-Thought) 추론을 생성하는 언어 모델—을 평가자로 활용하는 방안을 조사한다. 구체적으로, 우리는 (1) 추론 모델을 사용하고, (2) 이러한 모델에 응답 전체(즉, 결과 평가)뿐만 아니라 응답의 각 단계를 개별적으로 평가(즉, 과정 평가)하도록 프롬프트를 주는 방식으로 더 많은 테스트 시점 연산을 활용하는 방법을 검토한다. 실험에서, 평가자의 성능은 더 많은 추론 토큰을 생성할수록 단조적으로 개선되는 것을 확인했으며, 이는 언어 모델 기반 생성에서 관찰된 추세와 유사하다. 또한, 이러한 더 정확한 평가자를 사용해 여러 생성 결과를 재순위화하고, 평가 시점에 더 많은 연산을 투입하는 것이 언어 모델의 문제 해결 역량을 개선하는 데 생성 시점에 더 많은 연산을 사용하는 것만큼 효과적일 수 있음을 보인다.
AI 평가는 도구 사용과 반복적 문제 해결을 수반하는 더 긴 궤적(trajectory)에서 이점을 얻는 더 어려운 과제로 점점 이동하고 있다. 그 결과 성능은 테스트 시점에 사용 가능한 연산의 양과 배분("추론 연산", inference compute)에 점점 더 민감해지고 있다. 그럼에도 많은 평가는 여전히 단일한 제한적 예산에서 성능을 보고하며, 이는 낮은 점수가 모델의 근본적 능력보다는 평가 설정을 반영할 수 있음을 의미한다. 이를 검증하기 위해, 우리는 소프트웨어 공학, 수학, 의학, 사이버보안에 걸친 7개의 어려운 벤치마크에서 최대 12개의 프론티어 언어 모델을 평가했다. 우리는 세 가지 단순한 추론 스케일링(inference-scaling) 개입을 결합한 통제된 설정을 사용했다: 더 큰 토큰 예산, 컨텍스트 압축(context compaction), 그리고 모델 자체 또는 최소한의 정확성 피드백(correctness feedback)에 의해 안내되는 반복 제출 시도. 우리는 세 가지 주요 결과를 발견했다. 첫째, 더 큰 토큰 예산은 사이버보안, FrontierMath, Humanity's Last Exam, TerminalBench를 포함해 여러 도메인의 벤치마크에서 성능을 상당히 향상시킨다. 둘째, 고정 예산 평가는 모델이 발전함에 따라 프론티어 역량을 점점 더 과소평가할 수 있다. 최신 모델은 큰 예산에서 더 높은 성능에 도달하며, 여기서 더 어려운 과제를 해결할 수 있게 되고 더 안정적으로 해결한다. 셋째, 벤치마크마다 어떤 추론 스케일링 방법이 가장 도움이 되는지가 다르다: 반복 제출은 전반적으로 성능을 향상시키지만, 더 큰 토큰 예산, 외부 피드백, 병렬 시도의 가치는 벤치마크에 따라 달라진다. 전반적으로 우리 결과는 벤치마크 점수가 프로토콜에 의존적임을 보여준다. 따라서 우리는 평가가 추론 시 연산의 함수로서 역량을 보고하고, 프로토콜 선택을 명시적으로 기술하며, 특히 안전성 또는 정책 관련 맥락에서 일치하는 예산 하에서 넓은 공유 연산 범위에 걸쳐 모델 세대를 비교해야 한다고 주장한다.
강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 지배적인 패러다임이 되었지만, 고비용의 학습과 정제된 데이터, 보상 신호를 필요로 한다. 최근 연구에서 테스트 시점에 날카롭게 조정된 기반 모델 분포로부터 샘플링하면 RL 이득의 상당 부분을 회복할 수 있음을 보였으나, 기존 방법들은 출력 층의 가능도에만 의존하며 트랜스포머 내부의 순전파 동역학을 무시한다. 우리는 층별 엔트로피 붕괴(entropy collapse)를 내재적 품질 신호로 활용하는 학습 불필요 테스트 시간 방법인 깊이-엔트로피 유도 샘플링(Depth-Entropy Guided Sampling, DEGS)을 제안한다. RL 사후학습 변형을 포함한 더 강력한 추론 모델들이 독특한 "후기 붕괴(late collapse)" 패턴을 나타냄을 관찰한다: 로짓 렌즈(logit-lens)로 디코딩된 엔트로피가 더 깊은 층에 이르러서야 수렴하기 시작하며 그 전까지는 높은 수준을 유지한다. 우리는 시퀀스별 붕괴 깊이 $D(\mathbf{x})$와, 시퀀스 가능도를 이 깊이-엔트로피 구조와 결합하는 결합 목적 함수 $π(\mathbf{x}) \propto p(\mathbf{x})^α\exp(βD(\mathbf{x}))$를 정의하고, 이를 MCMC 파워 샘플링 프레임워크(DEGS-MCMC) 내에서 구현한다. 3개의 오픈-가중치 모델과 4개의 추론 벤치마크에 걸쳐, 후보당 거의 우연 수준에 불과한 이 신호가 샘플링 궤적 전반에 걸쳐 누적되어 학습 불필요 방법 중 최첨단 정확도를 달성하며, 도메인 외부 및 어려운 분할에서 가장 큰 향상을 보인다—이는 정확히 가능도만으로는 부족한 상황이다—단 한 자릿수 퍼센트의 벽시계 시간 오버헤드로 이를 실현한다. DEGS는 GRPO가 학습된 수학 분할에서 자체 GRPO 기준선에 근소하게 못 미치지만, 세 모델 모두에서 GPQA 도메인 외부 성능은 이를 능가하며, 어떠한 학습, 보상 모델, 레이블 데이터도 사용하지 않는다.
쿼리별 예산 내에서 기존 모델을 재샘플링할지 다른 모델로 재라우팅할지를 동적으로 결정하는 온라인 정책(RoR)을 제안하며, 단위 비용당 추정 한계 정확도를 기준으로 예산을 배분한다. 11개 오픈 가중치 모델 풀과 4개 벤치마크에서의 재현 실험 결과, RoR 정책이 단일 라우터·best-of-K·캐스케이드 등 기존 기준선 대비 비용-품질 파레토 프론트에서 우위를 보였으며, 특히 모델 이질성이 높은 벤치마크에서 성능 향상이 두드러졌다.
추가 학습 없이 에이전트 태스크를 검증하는 범용 프레임워크 LLM-as-a-Verifier를 제안하며, 이산적 점수 대신 채점 토큰 로짓(logit)의 분포 기댓값으로 연속 점수를 산출해 점수 세분성, 반복 평가, 기준 분해 세 축에서 검증 스케일링이 가능함을 보인다. Terminal-Bench V2(86.5%), SWE-Bench Verified(78.2%), RoboRewardBench(87.4%), MedAgentBench(73.3%)에서 최고 성능을 달성하며, 강화학습(RL)의 밀집 보상 신호로도 활용해 SAC와 GRPO의 샘플 효율성을 향상시킨다.
대규모 언어 모델(LLM)은 사고의 연쇄(Chain-of-Thought)와 강화학습(reinforcement learning)을 활용하여 수학적 추론에서 괄목할 만한 발전을 이루었다. 그러나 추론 토큰(token) 사용량과 정확도 향상 간의 상호작용에 대해서는 여전히 많은 미해결 질문이 남아 있다. 특히 세대에 걸쳐 모델(model)을 비교할 때, 성능 향상이 더 긴 추론 체인에서 비롯된 것인지 아니면 더 효율적인 추론에서 비롯된 것인지가 불분명하다. 우리는 Omni-MATH 벤치마크에서 o1-mini와 o3-mini 변형들에 걸쳐 추론 체인 길이를 체계적으로 분석하였으며, o3-mini (m)이 o1-mini보다 긴 추론 체인을 요구하지 않고도 더 높은 정확도를 달성함을 발견하였다. 또한 문제 난이도를 통제한 경우에도 모든 모델과 컴퓨팅 설정에서 추론 체인이 길어질수록 정확도가 전반적으로 저하됨을 보인다. 이러한 정확도 하락은 더 높은 성능의 모델에서 유의미하게 작게 나타나며, 이는 새로운 세대의 추론 모델이 테스트 시간 컴퓨팅을 보다 효과적으로 활용함을 시사한다. 마지막으로, o3-mini (h)가 o3-mini (m) 대비 소폭의 정확도 향상을 달성하지만, 이를 위해 o3-mini (m)이 이미 풀 수 있는 문제를 포함한 모든 문제에 걸쳐 상당히 더 많은 추론 토큰을 할당함을 강조한다. 이러한 발견들은 모델 역량과 추론 길이 간의 관계에 대한 새로운 통찰을 제공하며, 효율성, 스케일링(scaling), 그리고 평가 방법론에 시사점을 갖는다.
계획과 실행이 한 생성 trace에 얽혀 토큰을 낭비하는 문제를 해결하기 위해, 탐험-실행 체인(E²C)이 확률적 탐험 단계에서 간결한 고수준 계획을 세우고 결정적 실행 단계에서 이를 수행하도록 단일 모델 내에서 구조적으로 분리하며, Causal SFT와 RL로 이 분리를 학습한다. AIME'2024에서 E²C-ReAct Loop는 K=32 기준 12.4k 토큰으로 53.3% 정확도를 달성해 Tree-of-Thoughts를 능가했고, 계획 단계만 갱신하는 탐험 중심 SFT(EF-SFT)는 표준 SFT 대비 3.5% 토큰으로 의료 벤치마크 정확도를 최대 14.5% 향상시킨다.
Looped Transformers는 공유 블록을 반복적으로 적용하여 잠재 연산(latent computation)을 스케일링하지만, 순차적 루핑은 루프 횟수에 따라 지연 시간과 KV-캐시 메모리를 증가시킵니다. Parallel loop Transformers (PLT)는 cross-loop position offsets (CLP)와 공유-KV 게이팅된 슬라이딩 윈도우 어텐션(attention)을 통해 이 비용을 완화하여, 루프 횟수를 실용적인 설계 선택 사항으로 만듭니다. 따라서 우리는 이득-비용(gain-cost) 관점을 통해 PLT 루프 횟수 선택을 연구합니다: 추가 루프는 표현(representation)을 정제할 수 있지만, CLP는 또한 각 루프 경계에서 위치 불일치(positional mismatch)를 도입합니다. 우리는 18T 토큰에 대해 처음부터 서로 다른 루프 횟수를 가진 7B 규모의 PLT 코더 계열인 LoopCoder-v2를 학습(training)시키고, 이어지는 일치하는 지시 미세조정(instruction tuning)과 평가를 통해 이 연구를 구체화합니다. 실증적으로, 2-루프 변형은 코드 생성, 코드 추론, 에이전트 소프트웨어 엔지니어링, 도구 사용 벤치마크 전반에서 비루프 기준선(baseline)에 비해 광범위한 이득을 제공하며, SWE-bench Verified를 43.0점에서 64.4점으로, Multi-SWE를 14.0점에서 31.0점으로 향상시켰습니다. 대조적으로, 3개 이상의 루프를 가진 변형은 성능이 저하되어(regress), 강력한 비단조적 루프 횟수 효과를 보여줍니다. 우리의 진단(diagnostics)에 따르면 루프 2는 주요 생산적 정제를 제공하는 반면, 이후 루프는 감소하고 진동하는 업데이트와 감소된 표현 다양성을 산출합니다. CLP로 유발된 불일치는 정제 이득이 감소함에 따라 대략 고정된 상태로 유지되기 때문에, 오프셋 비용이 점차 지배적이 됩니다. 이러한 이득-비용 상충 관계(gain-cost trade-off)는 PLT의 2루프에서의 포화를 설명하며, 루프 횟수 선택에 대한 진단을 제공합니다.
비전-언어 모델(VLM) 기반 임베디드 플래너에서 테스트 타임 컴퓨트를 단순히 확장하는 것의 비효율성을 해결하기 위해, 멀티모달 장면 컨텍스트를 활용해 연산량을 동적으로 할당하는 라우팅 프레임워크인 DIRECT를 제안한다. 실제 로봇 팔 실험에서 이 방법은 더 강력한 모델과 대등한 성공률을 최대 65% 낮은 지연 시간으로 달성하여 효율적인 추론을 가능하게 했다.
테스트 타임 컴퓨트(TTC) 스케일링은 추론(inference) 과정에서 추가적인 연산을 할당함으로써 대규모 언어 모델(LLM) 추론을 개선하는 강력한 패러다임으로 등장했습니다(예: 다중 샘플 생성 및 검증 기반 재순위화). 기존의 TTC 스케일링 전략과 추론 채점기(reasoning scorer)는 여전히 파편화되어 있고, 일관되지 않은 프로토콜 하에서 평가되며, 품질-비용(trade-off) 관점에서 거의 분석되지 않았습니다. 우리는 LLM 추론의 원활한 테스트 타임 컴퓨트 스케일링을 위한 통합 프레임워크인 ThinkBooster를 소개합니다. 이는 (i) 최신 TTC 스케일링 전략과 채점기 패밀리(families)를 구현하는 모듈식 Python 라이브러리, (ii) 성능과 계산 효율성을 공동으로 평가하는 벤치마크(benchmark), (iii) 실제 애플리케이션에 적응형 추론(adaptive reasoning)을 드롭인(drop-in) 방식으로 통합할 수 있는 배포 가능한 OpenAI 호환 프록시 서비스로 구성됩니다. 또한 우리는 추론 궤적(reasoning trajectories), 중간 선택 결정, 대안적 추론 경로를 검사하기 위한 데모 시각화 디버거를 제공합니다. 수학 및 코딩 작업에 대한 실증적 결과는 TTC 스케일링 전략과 채점 방법의 성능-연산(performance-compute) 트레이드오프를 보여주며, ThinkBooster가 실제 작업에서 실용적인 이득을 제공함을 입증합니다. 코드는 MIT 라이선스 하에 온라인에서 제공됩니다.
최근 대규모 추론 모델(LRM)은 복잡한 작업을 반복적으로 성찰하고, 탐색하고, 실행함으로써 뛰어난 성능 향상을 보여주지만, "과잉 사고(overthinking)"로 알려진 중복 추론으로 인한 비효율을 겪는다. 이 문제를 완화하는 기존 방법들은 정적 난이도 추정에 의존하거나 작업별 학습을 필요로 하므로, 추론 과정 중 동적으로 변하는 복잡도에 적응하지 못한다. 본 연구에서는 문제 난이도가 추론 과정 전반에 걸쳐 동적으로 진화하며 LRM의 단계별 임베딩에 선형적으로 인코딩됨을 실증적으로 보인다. 이 통찰을 바탕으로, 잠재 단계별 표현을 활용해 진화하는 작업 난이도를 명시적으로 모델링하고 추론 깊이를 동적으로 제어하여 과잉 사고 문제를 완화하는 학습 없는(training-free) 프레임워크인 DyCon을 제안한다. 4B부터 32B까지 네 가지 모델과 수학 추론, 일반 질의응답, 코딩 작업에 걸친 열두 개의 벤치마크에서 수행한 광범위한 실험은 DyCon이 정확도나 일반화를 희생하지 않으면서 중복 단계를 줄여 추론 효율을 크게 향상시킴을 보여준다. 프로젝트 페이지와 코드는 https://github.com/yu-lin-li/DyCon 에서 확인할 수 있다.