CREDO: 재생-보정된 크레딧 할당을 위한 분산 유도 루브릭 진화
CREDO: Variance-Guided Rubric Evolution for Replay-Corrected Credit Assignment
한국어 초록
장기적(Long-horizon) 언어 에이전트는 희소한 최종 피드백을 받는 반면, 중간 루브릭(rubric)은 진행 상황에 대해 구조화되어 있지만 잠재적으로 잘못 명시될 수 있는 평가를 제공합니다. 재설정 가능한 학습 환경에서 반사실적 지속 롤아웃(counterfactual continuation rollout)을 통해 국소적 크레딧을 측정할 수 있지만, 완전한 재생(replay)은 비용이 많이 듭니다. 본 논문에서는 진화하는 의미론적 루브릭과 선택적 실행 기반 크레딧 보정을 결합한 프레임워크인 Credo를 제안합니다. 동결된 판별기(judge)는 가시적인 전이(transition)를 루브릭 특징에 매핑하고, 크레딧 헤드는 실현된 전이와 관련된 기대 최종 보상의 변화를 예측합니다. 독립적으로 샘플링된 양측 재생은 기록된 포함 확률을 사용하여 예측 잔차를 보정합니다. 본 연구는 조건부 비편향성과 두 가지 설계 선택(유지할 루브릭 특징 및 고정된 기대 재생 예산 할당 위치)을 연결하는 분산 분해를 유도합니다. 그 결과로 도출된 기준은 정책-점수 민감도와 누락된 재생 범위로 예측 오차에 가중치를 부여하며, 해당 할당 규칙은 지속 비용까지 추가로 고려합니다. 또한 최종 LOO(leave-one-out) 이점과의 실용적인 혼합을 설명하고, 클리핑 및 토큰 정규화가 적용된 PPO 구현을 이상적인 정책 그래디언트 추정량과 구별합니다. 이 예비 보고서는 방법론, 증명, 정확한 유한 모델 감사 및 통제된 평가 프로토콜을 제공하며, 언어 에이전트 벤치마크에서의 경험적 우수성은 주장하지 않습니다.
원문 초록
Long-horizon language agents receive sparse terminal feedback, while intermediate rubrics provide structured but potentially misspecified assessments of progress. In resettable training environments, counterfactual continuation rollouts can measure local credit, but exhaustive replay is costly. We propose Credo, a framework that couples evolving semantic rubrics with selective, execution-based credit correction. A frozen judge maps visible transitions to rubric features, and a credit head predicts the change in expected terminal reward associated with the realized transition. Independently sampled two-sided replays correct prediction residuals using their recorded inclusion probabilities. We derive conditional unbiasedness and a variance decomposition that connects two design choices: which rubric features to retain, and where to allocate a fixed expected replay budget. The resulting criterion weights prediction errors by policy-score sensitivity and missing replay coverage; its allocation rule additionally accounts for continuation cost. We also describe a practical mixture with terminal leave-one-out advantages and distinguish its clipped, token-normalized PPO implementation from the ideal policy-gradient estimator. This preliminary report provides the method, proofs, an exact finite-model audit, and a controlled evaluation protocol. It makes no claim of empirical superiority on language-agent benchmarks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.24174v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ProCredit: 에이전트 강화학습에서 결과 보상에서 진행 크레딧으로
ProCredit: From Outcome Rewards to Progress Credit in Agentic Reinforcement Learning
장기 에이전트 작업은 에이전트가 일련의 도구 호출을 통해 환경을 수정해야 하며, 성공은 최종 상태로 결정된다. 일반적인 방법은 마지막에 단일 결과 보상(outcome reward)을 부여하고 동일한 작업에 대해 샘플링된 궤적(trajectory)들을 비교한다. 그 결과 성공 궤적이 없는 그룹은 학습 신호를 주지 않고, 실패한 시도는 완료에 얼마나 가까웠는지 구분할 수 없으며, 작업을 진전시키는 턴과 환경만 조회하는 턴이 같은 크레딧을 받는다. 선행 연구는 비교 단위를 궤적에서 스텝(step)으로 세분화하거나 중간 신호를 위해 보상 모델을 학습한다. 전자는 여전히 최종 성공만으로 신호를 얻고, 후자는 모델로 이를 추정한다. 우리는 성공을 판정하는 수락 검사(acceptance check)를 중간 상태에서도 실행할 수 있음을 관찰했으며, 따라서 진행(progress)은 결과만큼 검증 가능하다. 우리는 이 검증된 진행을 크레딧으로 전환하는 ProCredit을 제안한다. ProCredit은 각 턴 후 수락 검사를 다시 실행하고, 진행 변화량에 따라 턴에 보상을 부여하며, 이 보상으로 동일 작업에 대한 여러 시도 간과 궤적 내 턴 간 모두에 크레딧을 할당한다. AppWorld에서 세 가지 규모의 Qwen3.5 베이스 모델을 시작점으로 할 때, ProCredit은 두 테스트 세트 모두에서 모든 규모에서 작업 완료율 기준으로 결과 보상 기준선과 진행 기반 기준선을 능가하며, 4B에서는 가장 강한 결과 보상 기준선보다 4.1퍼센트포인트 높고, 두 번째 환경에서도 같은 방향의 개선이 나타난다. ablation은 궤적 점수에 최종 진행만 더하는 것만으로는 성능이 개선되지 않음을 보여 주며, 이득은 진행이 발생한 턴에 크레딧을 부여하는 데서 온다.
분해된 하위 과제를 활용한 강화학습
Reinforcement Learning with Decomposed Subtasks
언어 모델(LM) 에이전트를 학습시키기 위한 GRPO(Group Relative Policy Optimization) 및 관련 정책 그래디언트(policy-gradient) 방식은 정책 업데이트가 이루어지기 전 전체 멀티턴 롤아웃을 단일 스칼라 궤적 보상으로 압축합니다. 특히 희소하고 지연된 환경 피드백 하에서 과제가 서로 다른 여러 기술로 구성되어 있을 때, 이러한 압축은 손실을 초래합니다. 즉, 옵티마이저는 어떤 역량이 결과를 이끌어냈으며 이것이 행동을 어떻게 변화시켜야 하는지를 암묵적으로 추론해야만 합니다. 본 논문에서는 올바른 프리미티브가 더 나은 스칼라 보상이 아니라 '분해'라고 주장합니다. 즉, 정책 업데이트에 들어가기 전에 궤적 보상을 하위 과제(subtask)에 따라 분할해야 합니다. 본 연구에서는 RLDS(Reinforcement Learning with Decomposed Subtasks)를 소개하며, 그 핵심은 SDAE(Subtask-Decomposed Advantage Estimation)입니다. SDAE는 스칼라 GRPO 어드밴티지를 대체하는 기법으로, 고정된 분류 체계에 따라 궤적 보상을 하위 과제별 몫으로 분할하고, 하위 과제별 그룹 상대적 어드밴티지를 계산하며, 각 하위 과제의 어드밴티지를 중요도에 따라 가중하여 토큰별 신용을 배분하되, 반추(reflection)를 통해 해당 하위 과제의 실행이 결정적인 영향을 미쳤다고 표시된 스텝 주변에 이를 집중시킵니다. 우리는 4개의 에이전트 벤치마크인 FrozenLake(희소 그리드 탐색), HotpotQA(멀티홉 질의응답, 단일 검색 도구), ScienceWorld(긴 주기 구현 과학 환경), DeepResearch(장문 연구, 4개 도구, 복합 루브릭 보상)에서 평가를 수행했습니다. 학습 중 산출된 이질성(heterogeneity) 진단 결과는 분해가 어디에서 성과를 내는지를 보여줍니다. 성능 향상은 하위 과제 이질성과 비례하여 확장되었으며, 이질성이 높은 과제인 ScienceWorld(+11.5점, 대응 표본 부트스트랩 95% CI [+9.8, +13.3])와 FrozenLake(+9.8점, [+7.0, +12.8])에서 가장 컸고, 진단 결과 회수할 여지가 거의 없다고 예측된 HotpotQA 및 DeepResearch에서는 오차 범위 내에 머물렀습니다. 또한 ScienceWorld는 RLDS 하에서 스칼라 GRPO 대비 연산 효율도 더 높았는데(스텝당 벽시계 시간 -10.9%), 이는 긴 롤아웃이 고정된 '반추 및 채점(reflect-and-grade)' 오버헤드를 분할 상각하기 때문입니다.
SkillGym: 실제 문제 해결을 위해 인간의 스킬을 LLM에 내재화하기
SkillGym: Internalizing Human Skills into LLMs for Real-World Problem Solving
사람이 작성한 에이전트 스킬(skill)은 실제 문제 해결을 위한 풍부한 워크플로를 담고 있지만, 일반적으로 재사용 가능한 모델 역량으로 내재화되지 못한 채 추론 시점의 외부 지침으로만 사용된다. 본 논문에서는 이러한 스킬을 대규모 언어 모델 에이전트를 위한 실행 가능하고 검증 가능한 학습 환경으로 변환하는 프레임워크인 \texttt{SkillGym}을 소개한다. SkillGym의 스킬-태스크 파이프라인은 구체적인 태스크를 생성하고, 코드 기반 검사기로 결과를 검증하며, 대조 실행(contrastive execution)을 통해 스킬에 대한 경험적 의존도를 평가한다. 우리는 12개 범주에 걸쳐 2,756개의 환경을 구축하여 공개하고, 여러 모델과 하네스(harness)에서 성공한 궤적(trajectory) 8,364개를 수집했으며, 이 궤적은 평균 49회의 도구 호출과 6만 개가 넘는 로깅된 텍스트 토큰으로 구성된다. 이러한 자원은 검증된 워크플로에 대한 지도 미세조정과 결과 기반 보상을 사용하는 강화학습을 지원한다. Claude Code 환경에서 지도 미세조정은 Qwen3.5-35B-A3B의 성능을 GDPval-AA v2에서 199 Elo, Terminal-Bench 2.1에서 19.10%p 향상시켰으며, SkillsBench v1.1에서는 스킬을 사용한 경우와 사용하지 않은 경우 각각 28.13점과 12.38점 향상시켰다. 35B 규모의 \texttt{SkillGym-Agent}는 스킬을 활용한 SkillsBench에서 51.47\%를 달성하여 Claude Sonnet 4.6, GPT-5.4 Mini, DeepSeek V4 Pro의 보고된 점수를 넘어선다. 또한 스킬 없이도 Codex와 Claude Code 환경에서 스킬을 활용한 기본 모델들을 능가하며, 이는 재사용 가능한 절차적 역량을 시사한다.
Agent-Editing World Model: LLM 에이전트를 위한 월드 모델링 재고
Agent-Editing World Model: Rethinking World Modeling for LLM Agents
대규모 언어 모델(LLM)의 최근 발전으로 에이전트가 다양한 환경에서 장기(long-horizon) 과제를 수행할 수 있게 되었다. 에이전트 성능을 더 높이기 위해 기존 언어 월드 모델은 주로 환경 관측을 예측하지만, 실제 피드백을 사용할 수 있을 때 고엔트로피·실행 의존적 도구 응답을 재구성하는 것은 제한된 가치만 제공한다. 한편 에이전트는 \emph{과제 상태 오염(task-state contamination)}에 시달리는데, 근거 없는 가정과 낡은 계획이 이력에 남아 이후 결정을 왜곡한다. 우리는 도구 응답을 시뮬레이션하기보다 추론과 행동이 미래 과제 진행을 어떻게 형성하는지를 모델링하는 \textbf{Agent-Editing World Model (AEWM)}을 제안한다. AEWM은 \textsc{Critical}, \textsc{Exploratory}, \textsc{Noisy} 결정을 구분하는 \textbf{Action Judge}와 동일한 관측 이력에서 noisy한 추론–행동 연속을 편집하는 \textbf{State Revision}을 결합한다. \textbf{EditAct}는 이러한 기능을 실제 실행과 통합하여, 단순히 비평만 제공하는 대신 이후 결정의 기반이 되는 상태를 직접 변경한다. 우리는 중간 학습(mid-training)과 지도 미세조정을 통해 Search, Terminal, Software Engineering 영역에서 AEWM을 학습한다. AEWM은 Action Judge 벤치마크에서 70.5\% macro-F1을 달성하여, 가장 강한 프론티어 기준선보다 10.6점 높다. 여섯 벤치마크와 세 에이전트 백본에서 EditAct는 가장 강한 기준선 대비 평균 점수를 3.2–6.7점 향상시킨다. 또한 검증된 EditAct 궤적에 대한 거부 샘플링 미세조정(\textbf{AEWM-RFT})은 온라인 AEWM 가이던스 없이 세 도메인에서 Self-RFT 대비 2.2–2.6점 향상된다.
모델 기반 강화학습에서 외부 세계 상태의 시퀀스를 예측하는 스파이킹 신경망
Spiking Neural Network Predicting Sequence of the External Worlds States in Model-Based Reinforcement Learning
본 논문에서는 현재 세계 상태에서 시작하여 외부 세계 상태의 시퀀스를 예측하도록 설계된 스파이킹 신경망(SNN)을 제시합니다. 이 SNN은 세계 역학(dynamics) 모델을 직접 생성하지 않고, 대신 다음 세계 상태를 예측하도록 학습된 SNN을 포함하며 예측된 세계 상태의 연쇄를 형성하는 데 필요한 모든 메커니즘을 제공합니다. 이러한 메커니즘은 전적으로 스파이킹 기반이며, 스파이킹 뉴런 앙상블(ensemble)로 구현됩니다. 본 논문은 이러한 신경 구조를 설명하고 고전적인 강화학습(RL) 벤치마크인 아타리(ATARI) 핑퐁에서 그 동작을 테스트합니다.
양자 클라우드 오케스트레이션에서 비용과 지연 트레이드오프를 위한 양자 강화학습
Quantum Reinforcement Learning for Cost and Delay Tradeoffs in Quantum Cloud Orchestration
양자-서비스(QaaS) 모델을 통해 제공되는 양자 클라우드 컴퓨팅은 양자 컴puting 자원에 대한 접근을 제공한다. 그러나 근본적으로 이질적인 양자 자원에 동일한 시간 기반 요금제를 적용하면, 특히 실행 비용과 시스템 성능 사이의 트레이드오프를 다룰 때 작업 오케스트레이션이 크게 복잡해진다. 휴리스틱 방법은 사전 정의된 스케줄링 규칙에 의존하는 반면, 고전적 심층 강화학습(DRL) 모델은 이 설정에서 더 많은 학습 가능 파라미터를 요구할 수 있다. 매개변수화 양자 회로(PQC)가 컴팩트한 함수 근사기로서 가질 잠재력에 착안하여, 우리는 PQC를 듀얼링 더블 심층 Q 네트워크(D3QN)와 통합해 비용과 지연을 동적으로 모두 반영하는 비용-지연 인식 양자 클라우드 스케줄링 프레임워크 QRLQ를 제안한다. 시뮬레이션 결과 QRLQ는 휴리스틱 기준선보다 더 낮은 평균 비용과 지연을 달성하며, 가용성 기반 및 회전 기반 휴리스틱 대비 평균 비용을 5–11% 낮추고, 가장 강한·약한 휴리스틱 기준선 대비 평균 지연을 각각 17% 및 82% 줄였다. 동시에 충실도 탐욕 정책 대비 실행 충실도를 2% 이내로 유지한다. 고전 DRL 기준선과 비교하면 QRLQ는 유사한 스케줄링 성능을 달성하면서 학습 가능 파라미터를 72% 더 적게 사용한다. 본 연구는 양자 클라우드 환경에서 작업 오케스트레이션에 양자 강화학습(QRL)을 사용하는 타당성을 탐구하고, 비용-지연 인식 양자 자원 관리의 잠재력을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.