Readout Feedback을 통한 추론 시점 순환 추론기 조향
Steering Recurrent Reasoners at Inference Time with Readout Feedback
한국어 초록
공유된 연산 블록(computation block)으로 잠재 상태(latent state)를 반복적으로 갱신하는 순환 모델(recurrent model)은 복잡한 추론(reasoning) 과제를 해결하기 위한 강력한 아키텍처로 부상했다. 기존의 추론 시점(inference-time) 방법들은 더 많은 단계를 실행하거나 더 많은 궤적(trajectory)을 샘플링하여 연산량을 확장하지만, 각 궤적 내에서 드러나는 정보는 무시한다. 본 연구에서는 순환 모델이 재학습 없이 자신의 리드아웃(readout) 확률을 사용하여 잠재 동역학(latent dynamics)을 조향함으로써 추론 시점에 개선될 수 있음을 보인다. 우리는 Readout Feedback(RoFB)을 제안하는데, 이는 중간 예측(intermediate prediction)을 토큰 단위의 쌍별(pairwise) 결합력(coupling force)으로 변환하여 잠재 동역학에 주입하는 테스트 시점(test-time) 개입 기법이다. 스도쿠(Sudoku)와 미로(Maze) 과제에서 세 가지 순환 모델(AKOrN, ItrSA++, TRM)에 대해, RoFB는 6개의 모델-과제 쌍 중 4개에서 명확한 성능 향상을, 1개에서는 작은 향상을 가져온다. 성능이 향상된 4개의 쌍은 단순히 더 많은 단계를 실행하거나 여러 궤적 중에서 선택하는 방식으로는 달성할 수 없는 성능을, 비슷하거나 더 낮은 연산 비용으로 달성한다. 이러한 결과는 잠재 동역학의 폐루프(closed-loop) 조향이 순환 추론 모델을 위한 보완적인 추론 시점 제어 메커니즘으로 기능할 수 있음을 시사한다.
원문 초록
Recurrent models, which repeatedly update latent states with shared computation blocks, have emerged as powerful architectures for solving complex reasoning tasks. Existing inference-time methods scale computation by running more steps or sampling more trajectories, but ignore information revealed within each trajectory. Here we show that recurrent models can be improved at inference time by using their own readout probabilities to steer latent dynamics without retraining. We introduce Readout Feedback (RoFB), a test-time intervention that converts intermediate predictions into token-wise pairwise coupling forces injected into the latent dynamics. Across three recurrent models (AKOrN, ItrSA++, TRM) on Sudoku and Maze, RoFB yields clear gains in four of six model-task pairs and a small gain in one. The four positive pairs achieve performance unattainable by merely running more steps or selecting from multiple trajectories, at comparable or lower computational cost. These results suggest that closed-loop steering of latent dynamics can serve as a complementary inference-time control mechanism for recurrent reasoning models.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.24136v2
- arXiv:2608.24136v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
KV-PRM: 멀티 에이전트 테스트-타임 스케일링을 위한 KV-캐시 전달 기반 효율적인 프로세스 보상 모델링
KV-PRM: Efficient Process Reward Modeling via KV-Cache Transfer for Multi-Agent Test-Time Scaling
프로세스 보상 모델(PRM)은 테스트-타임 스케일링(TTS) 방법을 안내하는 데 매우 효과적임이 입증되어, 대규모 언어 모델(LLM) 기반 멀티 에이전트 시스템의 역량을 크게 향상시킨다. 그러나 기존 PRM은 텍스트 기반으로, 전체 궤적 텍스트를 처음부터 다시 인코딩한다. 긴 멀티 에이전트 롤아웃에서는 시퀀스 길이 L에 대해 이차적으로 증가하는 채점 비용이 심각한 계산 병목을 야기하여, 긴 컨텍스트 시나리오에서 PRM의 적용을 크게 제한한다. 이를 해결하기 위해 우리는 KV-PRM을 제안한다. KV-PRM은 LLM의 생성 단계에서 자연스럽게 생성되는 KV 캐시를 직접 읽음으로써 무거운 텍스트 재인코딩을 제거하는 고효율 프로세스 보상 모델이다. 기존 KV 캐시에 대해 단일 "검증 토큰"만을 처리함으로써, KV-PRM은 채점 비용을 O(L²)에서 O(L)로 줄인다. 우리는 KV 캐시가 텍스트보다 엄밀하게 더 큰 정보 용량을 포함하며, 하위 보상 모델링에 더 효율적임을 형식적으로 증명한다. 실험적으로, MATH, GSM8K, AIME 벤치마크 전반에 걸쳐 KV-PRM은 빔 서치(Beam Search), MCTS, 가중 투표(Weighted Voting)와 같은 다양한 TTS 방법 하에서 텍스트 기반 PRM과 동등하거나 이를 엄밀하게 능가하며, 텍스트 기반 PRM 대비 채점 FLOPs에서 최대 5,000배, 지연 시간에서 37배, 시퀀스당 메모리 사용량에서 34배 감소를 달성한다.
추론 모델의 오버씽킹에 대한 최적 추론 종료 기법의 파레토 프론티어 구축
Constructing Pareto Frontiers of Optimal Reasoning Termination Methods for Overthinking in Reasoning Models
추론 모델은 테스트 시간 스케일링(test-time scaling)의 이점을 얻을 수 있지만, 지속적인 추론은 비효율적이거나 오히려 해로울 수 있으며, 이를 오버씽킹(overthinking) 현상이라고 부릅니다. 전체 추론(full thinking)을 기준으로 한 평가는 정확도와 토큰 사용량을 비교하지만, 오버씽킹의 심각도 및 각 전략의 이론적 완화 잠재력에 대한 기준이 부족합니다. 모델-작업 수준에서 오버씽킹의 특성을 규명하기 위해, 본 연구에서는 먼저 고정된 샘플링 추론 궤적을 따라 보존된 여러 접두사(prefix)로부터 반복적으로 답변을 생성하는 단계별 절단 프로빙(Step-wise Truncation Probing, STP)을 도입합니다. 각 궤적에서 최대 실증적 정확도에 도달하는 가장 이른 측정 위치를 기준으로 삼아, 이후 생성된 추론 토큰의 비율을 오버씽킹 비율(Overthinking Ratio)로, 해당 기준점 대비 전체 추론까지의 정확도 하락을 정확도 저하(Accuracy Degradation)로 각각 정의합니다. 둘째로, 다양한 종료 전략의 이론적 완화 잠재력을 정량화하기 위해 동적 라우팅(dynamic routing), 고정 예산(fixed budgets), 동적 조기 종료(dynamic early exit)를 통합된 프레임워크 내에서 정식화합니다. 이 통합 프레임워크를 기반으로 완전한 STP 측정값을 활용하여 공통의 정규화된 추론 토큰 예산 하에서 각 전략에 대한 토큰-정확도 파레토 프론티어(Pareto frontier)를 구축합니다. 나아가 6개 모델과 4개 벤치마크 그룹에 걸쳐 705억 개의 추론 토큰 및 해당 프로빙 측정값을 생성한 STP 프로세스로부터 구축된 재사용 가능한 벤치마크인 OTBench를 개발합니다.
LIME: 효율적인 테스트 시간 스케일링을 위한 분리된 XOR 어텐션 기반 링크 사용자-아이템 상호작용 모델링
LIME: Link-based User-item Interaction Modeling with Decoupled XOR Attention for Efficient Test Time Scaling
대규모 추천 시스템을 확장(scaling)하려면 더 긴 사용자 이력 처리, 후보군 확장, 모델(model) 용량 증대라는 세 가지 주요 영역의 발전이 필요합니다. 트랜스포머(Transformer)는 유망하지만, 연산 비용이 사용자 시퀀스 길이에 따라 이차적으로 증가하고 후보군 수에 따라 선형적으로 증가합니다. 이러한 절충 관계(trade-off)로 인해 상당한 성능 향상에도 불구하고 추론(inference) 시 후보군을 확장하거나 시퀀스 길이를 늘리는 데 막대한 비용이 발생합니다. 본 논문에서는 이러한 절충 관계를 해결하는 새로운 아키텍처인 LIME을 소개합니다. 두 가지 핵심 혁신을 통해 LIME은 연산 복잡도를 근본적으로 줄입니다. 첫째, 로우랭크(low-rank) "링크 임베딩(link embeddings)"은 사용자와 후보 간의 상호작용을 분리하여 어텐션(attention) 가중치를 사전 계산할 수 있도록 함으로써, 추론 비용이 후보군 크기에 거의 영향을 받지 않도록 만듭니다. 둘째, 선형 어텐션 메커니즘인 LIME-XOR는 사용자 시퀀스 길이에 따른 복잡도를 이차($O(N^2)$)에서 선형($O(N)$)으로 감소시킵니다. 공개 데이터셋과 산업 데이터셋을 활용한 실험 결과, LIME은 최첨단(SOTA) 트랜스포머와 유사한 성능을 달성하면서도 대규모 후보군이나 긴 시퀀스 길이에서 10배($10\times$) 빠른 추론 속도 향상을 입증했습니다. 주요 추천 플랫폼에서 테스트했을 때, LIME은 후보군 크기 및 사용자 이력 길이에 따른 추론 비용을 최소한으로 유지하면서 사용자 참여도를 향상시켜 효율적이고 표현력 있는 추천 시스템을 위한 새로운 패러다임을 확립했습니다.
보상 유도 스티칭을 통한 디퓨전 언어 모델 기반 테스트 시간 스케일링
Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching
대규모 언어 모델(LLM)을 활용한 추론은 여러 사고의 연쇄(Chain-of-Thought)를 생성할 때 효과를 보는 경우가 많지만, 기존의 통합 전략은 대개 궤적 수준(예: 최적의 경로 선택 또는 최종 답변에 대한 투표)에 머물러 있어 부분적이거나 '거의 정답에 가까운' 시도에서 나온 유용한 중간 과정을 버리게 됩니다. 본 논문에서는 저비용 디퓨전 샘플링 기반 추론을 재사용 가능한 단계별 후보 풀로 변환하는 자기 일관성(self-consistency) 프레임워크인 '노이즈가 있는 디퓨전 사고 스티칭(Stitching Noisy Diffusion Thoughts)'을 제안합니다. 문제가 주어지면, (i) 마스크드 디퓨전 언어 모델을 사용하여 다양하고 비용이 적게 드는 추론 궤적을 다수 샘플링하고, (ii) 상용 프로세스 보상 모델(PRM)로 모든 중간 단계를 점수화하며, (iii) 궤적 전반에서 가장 품질이 높은 단계들을 결합(stitch)하여 복합적인 논리적 근거(rationale)를 만듭니다. 이렇게 생성된 논리적 근거는 최종 답변만을 재계산하는 데 사용됩니다. 이 모듈형 파이프라인은 탐험(디퓨전)을 평가 및 솔루션 종합과 분리하여, 광범위한 탐색을 유지하면서도 단일 통합형 하이브리드 구조를 피합니다. 수학 추론 벤치마크 전반에서 단계별 재조합은 더 어려운 문제에서 가장 큰 이점을 보였으며, 절제 연구(ablation)를 통해 결합되었지만 불완전한 근거를 정확한 답변으로 변환하는 최종 솔버의 중요성을 확인했습니다. 병렬적이고 독립적인 롤아웃을 갖춘 저신뢰도 디퓨전 샘플링을 활용한 당사의 학습 불필요(training-free) 프레임워크는 6개의 수학 및 코딩 태스크 전반에서 평균 정확도를 최대 23.8% 향상시킵니다. 동시에 기존 디퓨전 모델(예: Dream, LLaDA) 및 통합형 아키텍처(예: TiDAR) 대비 최대 1.8배의 지연 시간(latency) 감소를 달성합니다. 코드는 https://github.com/roymiles/diffusion-stitching 에서 확인할 수 있습니다.
적응형 테스트 시점 추론을 위한 불확실성 인지 예산 할당
Uncertainty-Aware Budget Allocation for Adaptive Test-Time Reasoning
다중 응답을 샘플링하면 언어 모델의 추론 성능이 향상되지만, 균일한 연산 할당은 쉬운 질문에는 과도하게 샘플링되고 어려운 질문은 충분히 탐색되지 않아 비효율적이다. 우리는 \textbf{불확실성 인지 예산 할당(Uncertainty-Aware Budget Allocation, UAB)}을 제안한다. 이는 초기 샘플 자체로부터 추정된 불확실성을 이용하여 고정된 샘플링 예산을 재할당하는 오목(concave) 정수 최적화 프레임워크이다. 1단계(Phase-1)에서는 모든 질문에 적은 수의 고정된 생성(generation)이 할당된다. 이 생성 결과들의 답변 불일치는 투표 엔트로피(vote entropy)로 측정되어 난이도 신호를 제공하며, 동시에 이 생성 결과들은 최종 투표에도 반영된다. 2단계(Phase-2)에서는 나머지 예산이 마진-그리디(marginal-greedy) 알고리즘에 의해 할당되는데, 이 알고리즘은 오목 커버리지 최대화(concave coverage-maximization) 대리 문제를 최적으로 풀어 초기 답변이 일치하지 않는 질문에 샘플을 집중시킨다. 1.5B~27B 파라미터 규모의 5개 공개 가중치(open-weight) 모델과 난이도가 다양한 5개의 추론 벤치마크에 걸쳐, UAB는 균일 할당에 비해 평균 정확도를 $+2.3\%$ 향상시키며, 개별 벤치마크에서는 최대 $+5.5\%$의 향상을 달성하고, 가장 큰 향상은 저자원(low-resource) 환경에서 나타난다. 또한 UAB는 목표 예산을 정확히 충족하며, 보조 모델이나 추가적인 LLM 호출을 필요로 하지 않는다. 코드는 https://github.com/manhitv/UAB 에서 공개되어 있다.
불변 측도 추론기: 잠재 추론을 위한 안정적 표현
Invariant-Measure Reasoners: Stable Representations for Latent Reasoning
잠재 추론(latent reasoning) 모델은 동일한 순환 블록(recurrent block)을 사용하여 잠재 상태(latent state)를 반복적으로 갱신한다. 순환 깊이(recurrent depth)가 증가함에 따라 잠재 상태의 수열은 고정점(fixed point)으로 반드시 수렴하지는 않으면서도 상태 공간의 한 콤팩트한 부분집합으로 수렴할 수 있다. 기존 모델들은 일반적으로 단일 잠재 상태에 예측 헤드(prediction head)를 적용하여 예측을 수행한다. 그러나 잠재 상태는 여러 번의 갱신 이후에도 계속 변화할 수 있으며, 이는 순환 깊이에 따라 예측이 불안정해질 가능성을 만든다. 이러한 불안정성을 해결하기 위해, 우리는 불변 측도(invariant measure)를 안정적 표현으로 사용하는 프레임워크인 불변 측도 추론기(invariant-measure reasoners, ImR)를 제안한다. 이 측도는 콤팩트한 부분집합 위에서 잠재 상태의 장기 분포(long-run distribution)를 나타내며, 순환 블록에 의한 갱신에 대해 불변이다. ImR은 이 측도 하에서 예측 헤드 출력의 기댓값으로부터 예측을 수행한다. 우리는 ImR을 두 가지 방식으로 사용한다: 기존 모델의 예측 헤드만을 미세조정(fine-tuning)하는 방식과 모델을 처음부터 학습(training)하는 방식이다. 두 방식 모두 미로(maze) 및 스도쿠(Sudoku) 과제에서 많은 설정에서 예측 불안정성을 줄이고 정확도를 향상시킨다. 일부 설정에서는 ImR로 학습된 모델이 기존 모델보다 비고정점(non-fixed-point) 행동을 더 자주 보이면서도, 기존 모델과 달리 그러한 행동에서도 높은 정확도를 달성한다. 이러한 결과는 ImR이 그렇지 않았다면 불안정화를 유발했을 동역학(dynamics)을 잠재 추론에 활용할 수 있음을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
44 pages, 14 figures. Expanded analysis and experiments