단계별 모델 라우팅(stepwise model routing)은 각 추론 단계를 적합한 모델에 배정함으로써 대규모 추론 모델(LRM)의 효율을 높인다. 최근 방법들은 라우팅을 순차적 의사결정 과정으로 형식화하고 강화학습으로 라우터를 학습한다. 그러나 라우팅을 프로세스로 모델링함에도 불구하고, 라우터는 여전히 결과(outcome) 보상으로 지도된다. 이러한 보상은 최종 답의 정확성만 반영하며 중간 라우팅 결정을 평가하지 못해, 성능과 일반화를 약화시킬 수 있다. 이 공백을 메우기 위해, 우리는 단계별 모델 라우팅을 위한 루브릭 기반 프로세스 보상 프레임워크 RoRo를 제안한다. RoRo는 먼저 다양한 라우팅 궤적을 수집하고, 결과, 비용, 프로세스 품질을 바탕으로 선호 쌍(preference pairs)을 구성한다. 이어 Rubricor가 쿼리별 평가 루브릭을 생성하고 Judge가 이 루브릭 하에서 라우팅 궤적을 채점하도록 교대 최적화(alternating optimization)로 학습한다. 이렇게 얻은 프로세스 보상은 결과 보상과 결합되어 GRPO를 통해 라우팅 정책을 최적화한다. 동일 계열(same-family) 및 교차 계열(cross-family) 설정 모두에서 다섯 개의 추론 벤치마크에 대한 실험은 RoRo가 강력한 기준선들을 일관되게 능가하며 더 나은 정확도-비용 트레이드오프를 달성함을 보여준다.
프로세스 강화학습(PRL)은 대규모 언어 모델(LLM)의 추론 능력 향상에 상당한 잠재력을 보여왔다. 그러나 추가적인 프로세스 보상 모델을 도입하면 상당한 계산 오버헤드가 발생하며, 프로세스 수준의 어드밴티지 추정을 위한 통일된 이론적 프레임워크가 없다. 이 격차를 해소하기 위해, 우리는 프로세스 인식 강화학습을 가능하게 하는 두 가지 핵심 혁신을 갖춘 새로운 프레임워크인 자기 유도 프로세스 보상 최적화(SPRO)를 제안한다: (1) 프로세스 보상이 정책 모델 자체로부터 내재적으로 도출될 수 있음을 보이고, (2) 잘 정의된 누적 프로세스 보상(CPR)과 마스크드 스텝 어드밴티지(MSA)를 도입하여 단계별 어드밴티지를 재정의함으로써, 공유 프롬프트 샘플링 그룹 내에서 엄밀한 단계별 행동 어드밴티지 추정을 가능하게 한다. 실험 결과, SPRO는 vanilla GRPO 대비 3.4배 높은 학습 효율과 12.9%의 테스트 정확도 향상을 달성했다. 또한 SPRO는 응답 길이를 상당히 줄이면서도 학습 전반에 걸쳐 안정적이고 높은 정책 엔트로피를 유지하여, 충분한 탐험과 보상 해킹(reward hacking) 방지를 입증한다. 특히 SPRO는 GRPO와 같은 결과 지도(outcome-supervised) 강화학습 방법과 비교해 추가적인 계산 오버헤드가 없어 산업적 구현에 유리하다.
다단계 LLM 에이전트를 위한 강화학습은 종종 성공 여부는 나타내지만 궤적이 좋은지 나쁜지 그 이유를 설명할 수 없는 스칼라 보상에 의존한다. 루브릭 기반 보상은 자연어 기준을 통해 해석 가능성을 높이지만, 기존 방법들은 두 가지 한계를 공유한다: 궤적 수준에서 점수를 매겨 개별 단계에 대한 안내를 제공하지 않으며, 채점기가 폐쇄형이고 정적이어서 학습 중 에이전트가 진화함에 따라 적응할 수 없다. 우리는 ARCO(Adaptive Rubric CO-evolution)를 제안한다. ARCO는 단계별 루브릭을 생성하고 각 행동에 대해 루브릭 조건부 단계 수준 보상을 예측하며, 온-정책 롤아웃에서 이 루브릭 모델을 지속적으로 업데이트하여 기준과 점수가 에이전트의 개선되는 행동과 공진화하도록 한다. HotpotQA, 2WikiMultiHopQA, MuSiQue에서 두 개의 오픈소스 백본을 사용한 실험에서 ARCO는 결과-, 루브릭-, 프로세스 보상 기준선들보다 모든 설정에서 최고의 EM을 달성했으며, 분석 결과 루브릭이 단계별로 구체적이고 설계 선택에 강건하며 에이전트 행동 진단에 유용함을 보여준다. 코드와 데이터는 https://github.com/zihangtian/ARCO 에서 제공된다.
검증 가능한 보상을 활용한 강화학습(RLVR)은 희소한 검증 가능 최종 답변 보상을 이용해 대규모 언어 모델(LLM)을 최적화한다. 이 희소한 앵커는 궤적의 성공 여부를 신뢰성 있게 검증하지만, 그 궤적을 생성한 추론 경로에 대한 직접적인 피드백은 제공하지 않는다. 성공 이전 단계에서는 어려운 문제에 대한 사전 진행이 보상 신호를 전혀 받지 못하고, 성공 이후 단계에서는 결과 보상이 잘 구성된 올바른 궤적과 중복되거나 국소적으로 결함이 있는 궤적을 구별하지 못한다. 본 논문에서는 SCOPE-RL(Scaffolded Chain Optimization with Process Efficiency)을 제안한다. 이는 GRPO 업데이트를 유지하면서 이 앵커를 밀도화하는 2단계 프레임워크로 구성된다. Adaptive Scaffolded RL은 성공 이전에 답변이 은닉된 하위 질문 체인에 접두 문맥 분해 방식의 검증 가능 보상을 추가하고, Quality-Aware Process RL은 성공 이후 올바른 궤적을 정제하기 위해 정확성 게이팅 방식의 프로세스 형태 보상을 적용한다. 전문가 검증 기반의 단계 품질 평가 프로토콜(Step-Quality Evaluation Protocol)은 최종 답변 정확도를 넘어 유용한 단계 밀도, 오류 위치 파악, 토큰 효율성을 평가한다. DAPO-Math 및 Big-Math로 학습된 Qwen3-8B-Instruct에서 SCOPE-RL은 결과만 사용하는 GRPO 대비 평균 정확도를 최대 11.2 pp 향상시키고 추론 토큰을 최대 27.1% 감소시켰으며, GSPO 및 Qwen3-0.6B-Instruct에서도 성능 향상이 유지되어 보상 신호 밀도화가 정책 업데이트 수준의 RLVR 발전과 상보적임을 나타낸다. 코드와 데이터는 https://github.com/tokencraft-lab/SCOPE-RL 에서 확인할 수 있다.
검증 가능한 보상을 활용한 강화학습(RLVR)은 언어 모델의 수학적 추론 능력을 향상시키는 유망한 패러다임으로 부상하였다. 그러나 대부분의 RLVR 연구는 최종 답변에만 보상을 부여하는 결과 기반 보상 방식을 채택하고 있어, 단계별 과정 감독(process rewards)의 영향은 특히 희소한 피드백 환경에서 자기 교정 능력이 부족한 소형 모델에 대해 충분히 탐구되지 않은 상태다. 본 연구에서는 GSM8K 데이터셋에서 Group Relative Policy Optimization(GRPO)으로 파인튜닝된 Qwen2.5-0.5B에 다섯 가지 보상 조건을 적용하여 체계적으로 비교한다: 강화학습 미적용 기준선, 과정 보상만 적용, 결과 보상만 적용, 그리고 세 가지 하이브리드 가중치($λ\in \{0.9, 0.5, 0.1\}$ 과정 보상 가중치). 과정 보상만 적용한 감독 방식은 테스트 정확도 63.73%를 달성한 반면, 결과 보상만 적용한 방식은 53.75%에 그쳐 약 10퍼센트포인트의 차이를 보였으며, 동시에 단계 유효성이 높고 정답 사고의 연쇄 길이와의 편차가 낮은 추론 경로를 생성하였다. 하이브리드 보상은 일반적으로 과정 보상 가중치와 양의 상관관계를 보였으나, 한 가지 주목할 만한 이례적 현상이 관찰되었다: 낮은 과정 보상/높은 결과 보상 구성($λ=0.1$)이 순수 결과 보상 감독보다 낮은 성능을 보여, 상충하는 최적화 신호가 발생함을 시사한다. GPT-4o를 판별 모델로 활용한 오류 분석에 따르면 실패 양상 분포에서 뚜렷한 차이가 나타났다: 과정 보상 모델은 구조적으로 비일관적이지만 산술적으로 근거 있는 추론 경로를 생성하는 반면, 결과 보상 모델은 간결하지만 도출 오류가 발생하기 쉬운 사고 연쇄를 생성한다. 본 연구 결과는 보상 세분성이 RLVR의 1차적 설계 결정 사항임을 입증하며, 과정 수준의 감독이 소형 언어 모델에서 정확도와 추론 경로 충실도 모두를 실질적으로 향상시킴을 보여준다.
소형 언어 모델에서 물리 추론은 구조적으로 실패한다: 어느 단계에서든 발생한 오류는 이후 모든 추론을 오염시키며 전파된다. 제한된 도메인 지식, 다단계 유도 과정에서의 환각, 분포 민감성이 이러한 실패를 복합적으로 악화시킨다. 우리는 첫 번째 추론 오류를 식별하고 목표화된 구조적 피드백을 생성하며, KL 정규화를 적용한 정책 그래디언트를 통해 모델이 해답을 수정하도록 학습시키는 단계별 보상 프레임워크를 제안한다. 이 과정에서 모델은 정답 풀이를 생성 목표로 직접 노출받지 않는다. 어노테이션 의존적인 단계별 방법과 달리, 선호도 데이터 구축이 불필요하며 외부 검증기는 학습 시에만 작동한다. 다섯 가지 물리 벤치마크에서 우리의 프레임워크는 사고의 연쇄(CoT) 프롬프팅 대비 17~20%, 최강 기준선 대비 10~16%의 정확도 향상을 달성하며, 최적 관측 사례에서 계산 오류를 56.9%에서 23.5%로, 오독 오류를 22.3%에서 12.0%로 감소시킨다. 개념적 오류는 89.7%에서 68.7%로 감소하지만, 모든 조건에서 가장 어려운 실패 유형으로 지속된다.
환각(hallucination)은 대규모 언어 모델(LLM) 기반 에이전트의 신뢰성 병목이며, 사실 귀속(fact attribution) 검증기는 최후의 방어선이다. 그러나 현재의 검증기는 불투명한 이진 레이블만을 출력하여, 에이전트가 자기 수정을 할 수 없고 운영자가 감사를 수행할 수 없다. 우리는 SEVA를 제안한다. SEVA는 증거 정렬, 단계별 추론 체인, 보정된 신뢰도, 그리고 실행 가능한 수정 방안을 포함한 6가지 범주의 오류 진단을 출력하는 구조화된 검증 에이전트이다. 강화학습(RL)으로 이러한 에이전트를 학습시키는 것은 간단하지 않다. 다중 구성 요소 출력에 대한 표준 이진 보상은 어드밴티지 붕괴(advantage collapse)를 유발한다. 즉, 그룹 내 보상 분산이 소실되고 GRPO 그래디언트가 사라진다. 우리는 이를 검증 품질을 다섯 가지 독립적인 구성 요소로 분해하고 프로세스 신호에 70/30으로 가중치를 부여하는 프로세스 보상으로 해결하여, 그래디언트를 복원하고 암묵적 커리큘럼을 유도한다. 에이전트는 먼저 검증 동작(정렬 0.917 → 0.997, 형식 72% → 100%)을 습득한 후 결과(F1 64.9 → 69.0)를 습득한다. 구조화된 출력은 Verify → Reflect → Probe → Refine 자기 진화 루프를 가능하게 하며, 7B 모델에서 4라운드에 걸쳐 예상치 못한 구조적 발견을 드러낸다. 각 라운드는 범용 모델이 아닌 벤치마크 특화 모델을 생성한다(동일 모델에서 HaluEval +15 pp, TruthfulQA -10 ~ -14 pp이며, 4배 데이터에서도 지속됨). ClearFacts에서 SEVA-3B는 GPT-4o-mini와 동등한 성능(F1 69.0 vs. 69.8)을 달성하면서 실질적으로 더 풍부하고 감사 가능한 출력을 생성한다. 이는 일반화 가능한 원칙을 확인한다. 다중 구성 요소 생성을 포함하는 모든 RL 태스크에서, 보상의 세분성은 출력의 세분성과 일치해야 한다.
대규모 언어 모델(LLM) 에이전트는 코드를 작성하고 도구를 호출할 수 있지만, 신뢰할 수 있는 생물정보학 작업은 워크플로 소프트웨어, 타입이 지정된 데이터 객체, 출처 추적(provenance), 생물학적 검증과의 장기 실행 상호작용을 요구한다. 우리는 Galaxy 워크플로 실행을 통해 이 설정을 연구한다. 에이전트는 작업 데이터를 탐색하고, 실행 가능한 워크플로 방향성 비순환 그래프(DAG)를 구성하거나 적응시키며, 입력과 데이터셋 컬렉션을 바인딩하고, 실행을 모니터링하고, 실패를 디버깅하며, 생물학적 출력을 검증해야 한다. 검증된 워크플로 롤아웃을 재사용 가능한 전술(tactics)로 변환하는 Galaxy 기반 학습 프레임워크인 Process-Reward Tactic Evolution을 제안한다. 학습 중 에이전트는 Agent Gym에서 커리큘럼으로 구성된 Galaxy 작업을 연습하고, 프로세스 검증기가 워크플로 구성, 소프트웨어 상호작용, 실행, 생물학적 정확성을 채점하며, 성공 및 실패 추적을 전술 라이브러리로 증류한다. 추론 시 학습된 실행기 Process-Reward Tactic Evolution은 이 라이브러리를 사용하여 격리된 환경에서 보류(hold-out)된 동료 검토(peer-reviewed) Galaxy 워크플로에서 변환된 BioWorkflowBench 및 BioAgentBench 작업을 실행한다. 본 논문은 프로세스 감독(process-supervised) 전술 축적이 무기억(no-memory) 및 반성(reflection) 방식 베이스라인 대비 장기 실행 생물정보학 워크플로 완료, 생물학적 정확성, 실행 효율성을 개선하는지 평가한다.
비주얼 질의응답은 점차 다단계 추론을 요구하고 있습니다. 최근 검증 가능한 보상(RLVR) 및 그룹 상대 정책 최적화(GRPO) 하의 강화학습을 이용한 사후 학습은 멀티모달 추론을 향상시킬 수 있지만, 대부분의 접근 방식은 희소한 결과 전용 보상에 의존합니다. 결과적으로, 오답이 추론 후반부의 작은 실수에서 비롯되었는지 아니면 처음부터 도움이 되지 않는 궤적에서 비롯되었는지 파악하는 데 어려움을 겪습니다. 일반적인 해결책은 단계 수준 감독을 위해 과정 보상 모델(PRM)을 학습시키는 것이지만, 이는 일반적으로 대규모 고품질 사고의 연쇄 주석과 추가적인 학습 비용을 필요로 합니다. 우리는 명시적인 PRM을 학습시키지 않고 단계 수준 과정 보상을 제공하는 실용적인 사후 학습 파이프라인인 ProcessThinker를 제안합니다. ProcessThinker는 먼저 콜드 스타트 지도 미세조정을 위해 추론 트레이스를 단계 태그 형식으로 재작성한 다음, 표준 형식 보상과 우리의 롤아웃 기반 과정 보상으로 GRPO를 적용합니다. 구체적으로, 각 중간 단계에 대해 해당 단계에서 여러 후속 생성을 샘플링하고 경험적 성공률(최종 답변 검증)을 단계 보상으로 사용합니다. 이는 밀도 높은 신용 할당을 제공하고 올바른 결론을 더 신뢰할 수 있게 지지하는 추론 단계를 장려하여, 단계 간 불일치하거나 자기 모순적인 진행을 줄이는 데 도움을 줍니다. 이는 논리적 추론의 핵심 문제입니다. 4개의 도전적인 비디오 벤치마크(Video-MMMU, MMVU, VideoMathQA, LongVideoBench)에서 ProcessThinker는 기준선 모델인 Qwen3-VL-8B-Instruct보다 일관되게 성능을 향상시켰습니다.