arXiv:2610.31276v2 cs.AI

RIPPLE: 장기 에이전트 코딩을 위한 프로세스 수준 정책 학습과 효과 인식 크레딧을 통한 복구 내재화

RIPPLE: Recovery Internalization through Process-Level Policy Learning and Effect-Aware Credit for Long-Horizon Agentic Coding

Jingxuan Xu, Zihang Xu, Yuechen Luo, Ziqi Miao, Wenqiang Zhu, Weihao Li, Junhao Fan, Xinshun Feng, Zhiyi Lai, Yanan Wu, Haoyang Huang, Ken Deng

제출 2026-11-18

한국어 초록

장기 코딩 에이전트는 실패를 관찰하고 그럴듯한 비평을 생성하고도 동일한 잘못된 궤적을 계속 따라갈 수 있다. 우리는 이를 비평-행동 전달 간극(Critique-to-Action Handoff Gap)이라 부른다. 본 논문은 프로세스 수준의 지침을 하나의 자기 복구 정책으로 내재화하는 복구 지향 학습 프레임워크 RIPPLE을 제안한다. 접두사만 보는 교사는 미래의 행동이나 최종 결과에 접근하지 않고도 증거에 기반한 복구 지도를 제공한다. 경량 증류 이후 강화학습은 반성 유발, 진단, 교정 행동에 단계별 크레딧을 할당한다. 국소 유효성 신호가 궤적 이점을 게이팅하여 중간 복구 결정이 최종 결과를 무분별하게 물려받지 않도록 한다. 4개의 저장소 수준 소프트웨어 엔지니어링 벤치마크에서 RIPPLE은 배포 시 보조 비평가 없이 기본 정책을 산술 평균 4.8점 향상시킨다. 통제된 제거 실험은 국소적이고 단계에 정렬된 크레딧의 이점을 분리해 보여 주며, 접두사를 일치시킨 개입은 비평의 의미가 이후의 교정에 영향을 미침을 보여준다. 복구 이득은 접두사에 충분한 진단 증거가 있고 남은 예산 내에서 저장소 상태를 되돌릴 수 있는 경우에 집중된다.

원문 초록

Long-horizon coding agents can observe a failure and generate a plausible critique yet continue along the same incorrect trajectory. We call this the Critique-to-Action Handoff Gap. We introduce RIPPLE, a recovery-oriented training framework that internalizes process-level guidance into a single self-recovering policy. A prefix-only teacher provides evidence-grounded recovery supervision without access to future actions or terminal outcomes. After lightweight distillation, reinforcement learning assigns stage-specific credit to reflection triggering, diagnosis, and corrective action. Local validity signals gate trajectory advantages so that intermediate recovery decisions do not indiscriminately inherit terminal outcomes. Across four repository-level software-engineering benchmarks, RIPPLE improves the base policy by an arithmetic mean of 4.8 score points, with no auxiliary critic at deployment. Controlled ablations isolate the benefits of local, stage-aligned credit, and matched-prefix interventions show that critique semantics affect subsequent correction. Recovery gains concentrate where the prefix contains sufficient diagnostic evidence and the repository state remains reversible within the remaining budget.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.31276v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.