프로세스 보상 모델(PRM)은 테스트-타임 스케일링(TTS) 방법을 안내하는 데 매우 효과적임이 입증되어, 대규모 언어 모델(LLM) 기반 멀티 에이전트 시스템의 역량을 크게 향상시킨다. 그러나 기존 PRM은 텍스트 기반으로, 전체 궤적 텍스트를 처음부터 다시 인코딩한다. 긴 멀티 에이전트 롤아웃에서는 시퀀스 길이 L에 대해 이차적으로 증가하는 채점 비용이 심각한 계산 병목을 야기하여, 긴 컨텍스트 시나리오에서 PRM의 적용을 크게 제한한다. 이를 해결하기 위해 우리는 KV-PRM을 제안한다. KV-PRM은 LLM의 생성 단계에서 자연스럽게 생성되는 KV 캐시를 직접 읽음으로써 무거운 텍스트 재인코딩을 제거하는 고효율 프로세스 보상 모델이다. 기존 KV 캐시에 대해 단일 "검증 토큰"만을 처리함으로써, KV-PRM은 채점 비용을 O(L²)에서 O(L)로 줄인다. 우리는 KV 캐시가 텍스트보다 엄밀하게 더 큰 정보 용량을 포함하며, 하위 보상 모델링에 더 효율적임을 형식적으로 증명한다. 실험적으로, MATH, GSM8K, AIME 벤치마크 전반에 걸쳐 KV-PRM은 빔 서치(Beam Search), MCTS, 가중 투표(Weighted Voting)와 같은 다양한 TTS 방법 하에서 텍스트 기반 PRM과 동등하거나 이를 엄밀하게 능가하며, 텍스트 기반 PRM 대비 채점 FLOPs에서 최대 5,000배, 지연 시간에서 37배, 시퀀스당 메모리 사용량에서 34배 감소를 달성한다.
대규모 언어 모델(LLM)을 활용한 추론은 여러 사고의 연쇄(Chain-of-Thought)를 생성할 때 효과를 보는 경우가 많지만, 기존의 통합 전략은 대개 궤적 수준(예: 최적의 경로 선택 또는 최종 답변에 대한 투표)에 머물러 있어 부분적이거나 '거의 정답에 가까운' 시도에서 나온 유용한 중간 과정을 버리게 됩니다. 본 논문에서는 저비용 디퓨전 샘플링 기반 추론을 재사용 가능한 단계별 후보 풀로 변환하는 자기 일관성(self-consistency) 프레임워크인 '노이즈가 있는 디퓨전 사고 스티칭(Stitching Noisy Diffusion Thoughts)'을 제안합니다. 문제가 주어지면, (i) 마스크드 디퓨전 언어 모델을 사용하여 다양하고 비용이 적게 드는 추론 궤적을 다수 샘플링하고, (ii) 상용 프로세스 보상 모델(PRM)로 모든 중간 단계를 점수화하며, (iii) 궤적 전반에서 가장 품질이 높은 단계들을 결합(stitch)하여 복합적인 논리적 근거(rationale)를 만듭니다. 이렇게 생성된 논리적 근거는 최종 답변만을 재계산하는 데 사용됩니다. 이 모듈형 파이프라인은 탐험(디퓨전)을 평가 및 솔루션 종합과 분리하여, 광범위한 탐색을 유지하면서도 단일 통합형 하이브리드 구조를 피합니다. 수학 추론 벤치마크 전반에서 단계별 재조합은 더 어려운 문제에서 가장 큰 이점을 보였으며, 절제 연구(ablation)를 통해 결합되었지만 불완전한 근거를 정확한 답변으로 변환하는 최종 솔버의 중요성을 확인했습니다. 병렬적이고 독립적인 롤아웃을 갖춘 저신뢰도 디퓨전 샘플링을 활용한 당사의 학습 불필요(training-free) 프레임워크는 6개의 수학 및 코딩 태스크 전반에서 평균 정확도를 최대 23.8% 향상시킵니다. 동시에 기존 디퓨전 모델(예: Dream, LLaDA) 및 통합형 아키텍처(예: TiDAR) 대비 최대 1.8배의 지연 시간(latency) 감소를 달성합니다. 코드는 https://github.com/roymiles/diffusion-stitching 에서 확인할 수 있습니다.
병렬 사고의 연쇄(parallel Chain-of-Thought)에서 발생하는 다양성 붕괴(diversity collapse)는 자연스러운 설계를 기반으로 한 추론 시점 개입 방식을 촉발했습니다. 즉, 과정 보상 모델(PRM)이 체인을 가지치기(pruning)할 때 높은 PRM 점수를 받은 접두 문맥을 추출하여 여전히 디코딩 중인 형제 체인에 문맥 내 데모(in-context demonstration)로 그대로 접목하는 방식입니다. 본 연구에서는 궤적 간 단계 수준 전이(cross-trajectory step-level transfer)의 가장 비용 효율적인 구현체로서 PRM 가지치기 파편 접목(PPFG, PRM-Pruned Fragment Grafting) 메커니즘을 분리하고, 선행 파편 접목 연구들이 추가적인 보완 요소 하에서만 성능 향상을 보고했던 작동 지점에서 이를 테스트합니다. 전체 MATH500(n=500, 3개 시드)에서 Math-Shepherd와 결합한 Qwen2.5-7B-Instruct를 대상으로 평가한 결과, 정체 타깃팅 및 무작위 타깃팅 변형 PPFG 모두 측정된 모든 축에서 독립적인 병렬 CoT 기준선과 통계적으로 구별되지 않았습니다. 본 논문은 그 이유를 규명합니다. 322건의 정체 규칙 주입 이벤트를 4개 버킷으로 분류한 결과, 진정으로 어려움을 겪고 있는 체인을 타깃으로 삼은 경우는 14%에 불과했습니다. 나머지는 이미 성공했거나, 완료 직전이거나, 평평한 PRM 고원(plateau)에 머물러 있어 구원 접목으로 상태를 바꿀 수 없는 체인에 적용되었습니다. 어떠한 복합 게이트 정밀화도 잘 타깃팅된 발화와 적절한 밀도를 동시에 달성하지 못했으며, 무작위 대조군 역시 2.4배의 발화율에서도 동일한 동등성을 보여 이러한 비활성(inertness)이 특정 휴리스틱에 국한된 것이 아님을 확인했습니다. 이러한 발견은 3개의 기반 LM, 6개의 벤치마크, 두 번째 PRM, 호환성 게이트 탐색 전반에 걸쳐 재현되었으며, 양측 단측 검정(TOST) 분석을 통해 12개 Qwen/LLaMA 셀 모두에서 동등성이 통계적 동등성으로 확증되었습니다. 이벤트별 점검 결과 주입된 체인은 매칭 단계 대비 2.75배의 비율로 가지치기되지만, 생존 형제 반사실적 분석(surviving-sibling counterfactual)에서는 집단 수준의 보상이 발견되지 않았습니다. 사후 오라클(hindsight oracle)은 독립 방식 대비 PPFG 선택으로 인한 문제당 이득의 상한을 +0.13%p로 제한합니다. 본 연구는 모든 주장을 테스트된 작동 지점으로 범위를 한정하며, 추론 시점 메커니즘 영가설(nulls)을 확립하기 위한 동등성 검정 템플릿을 제공합니다.
다중 에이전트 시스템(MAS)에 대한 추론 시점 탐색은, 어떤 에이전트의 중간 메시지가 진행을 앞당겼는지 식별할 수 없을 때 연산을 낭비한다. 본 논문은 라우팅된 transcript(에이전트 간 순서화된 메시지 시퀀스)를 점수화하고 단계 수준 빔 탐색(SBS) 및 몬테카를로 트리 탐색(MCTS)을 위한 추론 제어기로 작동하는 다중 에이전트 시스템 과정 보상 모델(MASPRM)을 제안한다. MASPRM은 인간의 단계 수준 주석 없이 최종 결과 보상으로만 레이블된 다중 에이전트 MCTS 롤아웃으로부터 학습된다. GSM8K, MATH, MMLU, LogiQA에서 평가하였다. 동일한 스코어러 크기와 유사한 MCTS 예산 하에서 MASPRM은 1.5B에서 +2.0~+3.0점, 7B에서 +4.1~+14.5점만큼 네 벤치마크 전반에 걸쳐 동일 크기의 ORM(결과 보상 모델)을 초과하며, 7B에서 정책 가능도 대비 추가적인 스코어러 스케일링 이득(MCTS 하 평균 +13.4)을 보인다. MASPRM은 또한 순위 품질을 개선하여 Hit@1과 Hit@5 간 격차를 최대 10.3점 줄이며, 중간 결정을 사용하는 단계별 탐색에서 가장 큰 이득을 보인다. 코드: https://github.com/milad1378yz/MASPRM
의료 임상 추론에서 대규모 언어 모델(LLM)이 근거 중심 의학(evidence-based medicine) 원칙에 충실한 추론을 생성하도록, FaithMed는 임상의가 설계한 루브릭(rubric)과 단계별 과정 보상(step-level process reward) 기반 강화학습(RL)을 결합한 프레임워크를 제안한다. 7개 의료 벤치마크에서 에이전틱 검색 기반선 대비 평균 +9%, 결과 전용 RL 대비 +5.8%의 정확도 향상과 함께 근거 중심 의학 루브릭 점수에서도 +15.5% 개선을 달성했다.
다중 에이전트 시스템(MAS)에서 시스템 수준 평가를 개별 에이전트 및 메시지 수준의 학습 신호로 연결하는 이론적 프레임워크를 제안하며, Shapley 값 기반 기여도 할당과 프로세스 보상 모델(PRM)을 통합하여 성공 시에는 협력을 장려하는 메시지별 보상을, 실패 시에는 오류 위치 추적을 통한 수정 인식 선호도 신호를 생성한다. 이 신호는 유계(bounded)·협력적·기여도 보존 특성을 이론적으로 보장하며, 강화학습 및 선호도 기반 사후학습과 직접 호환되는 단일 경로를 제공한다.
추론 시간 연산(test-time compute)을 문제별로 적응적으로 배분하기 위해, 과정 보상 모델(PRM)이 단계별 점수를 통해 추론 도구 선택·탐색 전략·궤적 생성을 동적으로 제어하는 검증자 유도 프레임워크를 제안한다. MATH-500, AIME24, AMO-Bench 등의 벤치마크에서 고정된 테스트 타임 스케일링 방식 대비 일관되게 높은 정확도를 달성하면서, 계산 집약도 지표를 통해 불필요한 연산을 줄이고 고효용 추론 경로에 연산을 집중시킴을 실증하였다.
기존 프로세스 보상 모델(PRM)이 단방향(좌→우) 평가에 국한되어 전역 문맥을 활용하지 못하는 한계를 해결하기 위해, BiPRM은 프롬프트 역전(prompt reversal)으로 구현된 우→좌 평가 스트림을 병렬로 추가하고 동적 게이팅 메커니즘으로 두 스트림의 보상 점수를 융합한다. 추론 지연 5% 증가와 파라미터 0.3% 증가라는 최소한의 비용으로, 54개 솔루션 수준 설정에서 평균 10.6%, 12개 단계 수준 오류 탐지 시나리오에서 37.7%의 상대적 성능 향상을 달성했다.
데이터가 희소한 도메인에서 전문가 대규모 언어 모델(LLM)을 학습하는 것은 어려우며, 종종 객관식 문제(MCQ)에 의존하게 된다. 그러나 MCQ에 대한 표준 결과 기반 강화학습(RL)은 위험을 수반한다. 정확도는 향상될 수 있지만, 논리적 일관성과 같은 추론 품질이 저하되는 현상을 우리는 관찰하였다. 추론을 감독하기 위한 기존 해결책인 대규모 프로세스 보상 모델(PRM)은 비용이 지나치게 높다. 이를 해결하기 위해 우리는 소규모의 범용 LLM만을 활용하여 추론 품질을 향상시키는 비용 효율적인 강화학습 프레임워크인 CLARity를 제안한다. CLARity는 일관성 인식 보상 메커니즘과 2단계 정제-후-모니터링 학습 파이프라인을 통합하여 추론 일관성을 높이고, 동적 데이터 재구성 전략을 통해 제한된 데이터를 더욱 효과적으로 활용한다. 실험 결과, CLARity는 기준 모델 대비 응답 일관성을 16.5%, 정확도를 7.5% 향상시킴을 보였다. 인간 평가에서도 일관성과 전문성의 전반적인 개선이 확인되었다. 따라서 CLARity는 소규모 모델이 추론 일관성을 통해 전문가 모델을 효과적으로 지도할 수 있는 일반화 가능한 솔루션을 제공한다. 코드는 https://github.com/Infinite-set/CLARity 에 오픈소스로 공개되어 있다.
Group Relative Policy Optimization (GRPO) is a default recipe for process-supervised reinforcement learning of LLM reasoners, and dense process supervision -- via learned process reward models (PRMs) or on-policy-distillation KL signals -- is a common way to densify its otherwise weak outcome reward. Layering such a step-level signal on top of GRPO's group-standardized advantage, however, exposes three structural pathologies: \emph{channel contamination} between the pooled process, outcome, and format streams at group standardization; \emph{resolution mismatch} between the granularity of the process signal and the granularity of the logical decisions being credited; and a \emph{cumulative trap} by which GRPO's return-to-go sum surfaces either length inflation or truncated exploration depending on the sign regime of the signal. We propose \textbf{PASS} (\emph{Process Advantage Signal Shaping}), a compact middleware that sits between any scalar step-level process signal and GRPO's clipped surrogate and addresses the three pathologies in turn: \emph{Advantage Fusion} standardizes the three streams independently within each group, \emph{Chunk-by-Value} derives value-homogeneous chunks from the signal itself and broadcasts credit within each chunk, and \emph{Divide-Length} converts the cumulative objective into an average-value-density score. We validate PASS across two domains and two process-signal paradigms -- a learned PRM on mathematical reasoning and an on-policy-distillation KL signal (with a generalized variant) on multi-hop question answering -- and under two group-standardization operators. In every regime PASS delivers a consistent pass@1 gain over the corresponding GRPO baseline.
비전-언어 모델 기반 GUI 에이전트는 디지털 작업 자동화에 강한 잠재력을 보이지만, 단계별 검증의 부재로 인해 장기적(long-horizon) 시나리오에서 자주 실패한다. 기존 프로세스 보상 모델은 텍스트 추론만으로 행동을 검증하여 GUI 상태 변화의 시각적 특성을 놓친다. 우리는 VisCritic을 소개한다. 이는 행동 전후 스크린샷을 시각적 특징 공간에서 직접 비교함으로써 에이전트의 행동을 검증하는 시각적 프로세스 보상 프레임워크이다. VisCritic은 시아메즈 비전 트랜스포머를 활용하여 변화 인식 표현을 추출하고, 행동 성공 여부, 작업 진행도, 오류 유형을 함께 평가하는 행동 인식 크리틱 헤드(Action-Aware Critic Head)와 결합한다. 크리틱 학습 데이터 구성 파이프라인은 크리틱 학습을 위한 추가적인 인간 레이블 없이 기존 궤적으로부터 약지도(weakly supervised) 샘플을 생성한다. 다섯 가지 벤치마크에 걸친 실험 및 오프라인 분석은 VisCritic이 다양한 GUI 에이전트를 위한 플러그앤플레이 방식의 향상 기능으로서, 벤치마크 지표를 전반적으로 개선하면서 시각적 진단 단서를 제공함을 보여준다.
PRInTS는 도구 상호작용과 추론 과정을 다차원적으로 평가하고 컨텍스트를 압축하는 궤적 요약 기능을 통해 장기 정보 검색 작업을 위한 생성형 프로세스 보상 모델(PRM)을 제안합니다. 이 방법은 다양한 벤치마크에서 오픈소스 모델 및 전문 에이전트의 성능을 향상시켜 더 작은 백본으로도 최신 모델과 대등하거나 우월한 결과를 달성했습니다.
강화학습(RL)은 장기 수평(long-horizon)의 확률적 디지털 환경에서 GUI 에이전트를 개선하는 유망한 접근법으로 떠오르고 있으나, 궤적 수준의 성공 피드백은 너무 희소하여 중간 탐험 단계에 대한 신뢰할 수 있는 크레딧 할당을 제공하기 어렵다. 이 문제를 완화하기 위해 최근 연구들은 전역 마일스톤 검증 또는 지역 단계별 평가를 통해 더 세밀한 학습 피드백을 제공하는 프로세스 보상 모델(PRM)을 도입하였다. 그러나 이러한 방법들은 여전히 두 가지 수준별 한계를 지닌다. 전역 마일스톤 분해는 주관적이고 단일하여 실제 GUI 태스크에서 다양한 유효 실행 경로를 수용하기 어려우며, 고정된 지역 판단 윈도우는 장거리 핵심 증거를 놓치거나 무관한 프레임으로 결정 신호를 희석시킬 수 있다. 네트워크 플로우 분석의 스테인 추적 메커니즘에서 영감을 받아, 우리는 GUI 에이전트를 위한 엔티티-스테인-플로우 프로세스 보상 모델인 StainFlow를 제안한다. 전역 분할의 주관성을 줄이기 위해, 시각적으로 검증 가능한 태스크 엔티티를 추출하고 이들의 스테인 농도 및 상태가 궤적을 따라 어떻게 변화하는지 추적하는 전역 엔티티 스테인 추적(Global Entity Stain Tracking) 모듈을 도입한다. 이를 통해 엔티티 증거 플로우의 변화에 따라 태스크 단계를 객관적으로 분리할 수 있다. 지역 검증의 정확도를 높이기 위해, 지역 스테인 증거 연결(Local Stain Evidence Linking) 모듈을 도입한다. 이 모듈은 각 후보 핵심 노드의 트리거 엔티티를 중심으로 스테인 농도와 상태 변화를 기반으로 관련 단계를 검색하고, 진정한 핵심 노드를 검증하기 위한 고밀도 증거 윈도우를 동적으로 구성한다. AndroidWorld 및 OGRBench에서의 광범위한 실험을 통해 StainFlow가 온라인 RL 성공률을 상대적으로 3.2%, 궤적 완료 판단 정확도를 1.8% 향상시킴을 확인하였다.